Регистрация...

Eserv Forum / E3 / Eserv 3 Mail Server Support / Загрузка процессора 99% - все виснет !!!

wikipost // (v3)
Продукты и услуги Скачать Документация Купить Поддержка Форумы Партнёрам Статьи О компании
Новости
12.10.2009
Переезд завершен
Лицензии E4+PigMail не было. Официально PigMail — это расширение для E3.

Деньги можем вернуть за любые приобретенные продукты. Будет даже интересно сделать это впервые за 15 лет...

Работа PigMail с E4 и E5 в принципе возможна, такой опыт есть у Dandy (asm@eserv.ru, автор Mstat). Либо можно перейти на E4 без PigMail, если особо специфический функционал PigMail не используется.

А что всё-таки с памятью, куда она вся ушла?

И еще: в списке задач светится AVP. Eserv плохо совместим с резидентными антивирусами (т.к. они лезут в файловые и сетевые операции "хакерскими" методами, отнимая файлы в неподходящие моменты и портя протоколы), по этой причине с 2002го года для Eserv'а выпускаются специальные антивирусные plugin'ы на замену резидентам.
 
Комментарии к версии 1 (04.04.2012 13:37) [~figaro] 392de50f
АвторДатаТекстtags
ac04.04.2012 13:44
Вычислить пользователей, не удаляющих почту (не делающих expunge) и почистить за них.

Или переходить на E5, там за счет индексации (как и в E4) эффективность работы IMAP выше на порядок.
wikipost
Комментарии к версии 2 (04.04.2012 13:48) [~figaro] 732e4dfd
АвторДатаТекстtags
figaro04.04.2012 14:17
Зачем почту удалять? У нас доступ не по Pop3 а по IMAP. Почта храниться должна на сервере , а не на локальном компьютере. И удалять ничего не нужно, нам вся переписка нужна.
wikipost
figaro04.04.2012 14:18
Я бы перешел на Е4 , и лицензия у меня оплачена, но только вот беда — у меня стоит PigMail
wikipost
ac04.04.2012 14:37
Не всю почту удалять, а только ту, которая не нужна. Люди её обычно сами удаляют, но не знают особенности IMAP, что эта почта на самом деле остаётся на сервере с пометкой "удалено", а физически не удаляется, пока не сделают expunge ("очистка" или "сжатие" в русских версиях IMAP-клиентов), и соответственно весь этот мусор гоняется сервером впустую.
wikipost
figaro04.04.2012 19:23
Т.е. вы этим самым хотите сказать, что данный почтовый сервер просто физически не предназначен для содержания в почтовом ящике более 10-ти писем на пользователя? Тогда это что — "игрушечный" вариант? А сколько у вас держит рабочая лошадка? И где эта лошадка? Это Е5 ? А он сколько писем потянет в почтовом ящике пользователя? 100 ? Или 150 и дальше тоже сервер "подвесит" ?
wikipost
ac04.04.2012 19:46
Нет, я этого не хочу сказать. У меня у одного почты в одном из моих ящиков (точнее даже в одной только папке spam этого ящика) на eserv.ru почты больше, чем на всем вашем сервере из 300 папок, и сервер не загибается, хотя на нем еще несколько десятков веб-серверов и сервер обновлений Eserv, который непрерывно дергается сотнями Eserv'ов одновременно.

Вот папка спам больше года назад, сейчас там еще больше (я специально не чищу) http://www.eserv.ru/~ac/Юбилей папки spam?mid=92

Игрушечный не Eserv, а файловая система Windows, из-за чего и пришлось прикручивать индексацию и менять планировку папок (тяжелой операцией для сервера (для Windows) является именно перебор дерева папок), хотя, казалось бы, эти папки и так хранятся индексированными в NTFS.
wikipost
ac04.04.2012 20:05
ac пишет: сейчас там еще больше

Нет, я не прав, сейчас в моей папке spam меньше ста тысяч, т.к. при переносе сервера в августе прошлого года спам не переносился. Но и за эти месяцы в папке spam набралось немало — 78 тысяч, и это только в моем личном ящике.
wikipost
ac04.04.2012 20:22
ac spam

Средний размер спам-письма за эти 7 месяцев — 28Кб, интенсивность поступления спама не изменилась с 2010 года — 10тыщ в месяц в один ящик. Это тот спам, который не был остановлен RBL'ами, а дошел до байесов и отправлен в spam.
wikipost
figaro05.04.2012 10:48


Screenshot%20-%2005.04 [121008 bytes]
Хорошо, если у вас все так прекрасно, то на каком основании у меня все так плохо?
Может мне вместо Винды на линуксе все поставить?
wikipost
figaro05.04.2012 11:06
Вычистил у всех пользователей корзины. Все равно:


Screenshot%20-%2005.04-2 [11284 bytes]
wikipost
ac05.04.2012 11:12
Основание я объяснил выше.

figaro пишет: Может мне вместо Винды на линуксе все поставить?

Можете поставить (и мы можем вернуть деньги, уплаченные за E3, если вы разочарованы). А может быть достаточно просто выполнить дефрагментацию тома или поставить более быстрый диск.

Хотя приведенная картинка наводит на другие мысли: у вас не Eserv и не файловая система сейчас тормозит, а своп. Память занята более чем на 90%, соответственно либо Windows занят расширением своп-файла (это всегда визуально "вешает" систему), либо отдаёт процессам всю "свободную" память, отнимая её у дискового кэша (это тоже очень плохо, т.к. теперь каждый сектор заново перечитывать, т.е. производительность диска катастрофически падает).

Надо посмотреть в списке процессов, кто съедает аж 4 гига. Может там кому-нибудь урезать статический кэш в настройках (например, MySQL), а кого-нибудь просто перезапустить (браузер?). Надо добиться, чтобы хотя бы один гиг был всегда свободен (на самом деле у винды свободной памяти не бывает — вся свободная память отдается под дисковый кэш, что благоприятно сказывается на работе).

На eserv.ru памяти 2 Гб, и пока хватает. Основным потребителем памяти у нас является acFilter (в E4-E5 в этом процессе сидят базы байесов и антивирусов).
wikipost
ac05.04.2012 11:16
Новая картинка даже еще хуже. Вы держите Eserv в сухом теле Я боялся, что вы покажете, что у вас один только acIMAP занимает под гигабайт, но выходит, что по памяти Eserv у вас совсем незаметен на общем фоне.
wikipost
ac05.04.2012 11:19
figaro пишет: Вычистил у всех пользователей корзины.

Через expunge? Файлов-то стало меньше?

ac пишет: Надо посмотреть в списке процессов, кто съедает аж 4 гига.
wikipost
figaro05.04.2012 12:08
Ну вот , посмотрел, сортировка по потреблению памяти, за это время acImap немножко даже "подрос".


Screenshot%20-%2005.04-3 [73486 bytes]
wikipost
ac05.04.2012 13:19
На 4 гигабайта сумма не тянет. Даже на гигабайт. Стоит добавить столбец "выделенная память", может это подаст идеи, куда всё уходит.
wikipost
figaro05.04.2012 17:13
ac пишет: мы можем вернуть деньги, уплаченные за E3, если вы разочарованы

По поводу разочарования — конечно, только ведь я платил за лицензию Е4 + PigMail, а пользуюсь E3 .
Может действительно я что-то отстал и мне пора обновление ставить? Подскажите, что мне нужно обновить, и откуда скачать? У меня сейчас пишет следующее: "PigMail + PigProxy — Управление серверами версия 2.3 на базе Eserv / Eproxy v3.36beta" — может это уже совсем устаревший вариант?
wikipost
ac05.04.2012 18:24
И еще интересный вопрос — раз у вас Eserv/3, значит вы используете Eserv как минимум 4 года. Вы раньше не использовали IMAP? Но раз много почты накопилось, значит использовали. Раньше не тормозил? Видимо что-то радикально изменилось в конфигурации именно в последнее время, может оттуда и начать поиск.
wikipost
figaro06.04.2012 10:25
Какой там 4 года? Я еще раз повторяю: Оплачен Е4 год назад и Pigmail.
Вот моя первая ветка:
http://forum.eserv.ru/E3/Eserv 3 Mail Server Support/Отправка и Получение почты с разных IP#6
Но мне сказали, что Е4 и Pigmail вместе не работают, и мне пришлось установить Е3. Спасибо за вашу "доброту". Я вообще-то хотел-бы перейти на Е4 , но мне в этом отказали, хотя я проплатил по стоимости за него.... да и еще за Pigmail. А теперь у меня вот это (скриншоты). Все замерло и ничего не работает. В Касперском проверка этого каталога запрещена. Перезапуск службы не помогает, после перезапуска опять все на 100% занято. Жжжжесть
Screenshot%20-%2006.04 2 [147439 bytes]

Screenshot%20-%2006.04 1 [149660 bytes]
wikipost
ac06.04.2012 10:52
Хорошо, не 4 года, а год. Он весь год у вас не работал, или только сейчас начал шалить? Каким-то образом вы раньше эти 60 тыс. сообщений читали?

figaro пишет: В Касперском проверка этого каталога запрещена.

Это мало что меняет, т.к. его драйвер в системе остаётся, и обрабатывает все файловые и сетевые операции.
wikipost
ac06.04.2012 11:04
Раз все равно ничего не работает, и раз вы не можете вернуться к той ситуации, когда все еще работало, то предлагаю такой сценарий дальнейших действий: я вышлю вам ключ для E5, вы поставите E5 в соседний каталог, и я помогу импортировать всех пользователей и почту из старой версии в новую.

Чтобы на этот переходный период ваши пользователи могли продолжить работу с почтой, вам надо остановить часть Thunderbird'ов (особенно тот, который читает всё почтовое дерево целиком [в E3 и PigMail есть такие спец.учетки], если такое у вас используется), потом переключить этих пользователей на POP3 с сохранением почты на сервере.
wikipost
figaro06.04.2012 13:55
ac пишет: вы поставите E5 в соседний каталог, и я помогу импортировать всех пользователей и почту из старой версии в новую
За переход — согласен, только "ЗА". Я для такого случая могу даже всем прекратить доступ на время перехода, благо сегодня пятница. А почта пользователей, которая на сервере тоже перенесется в Е5 ?
wikipost
figaro06.04.2012 13:56
ac пишет: Он весь год у вас не работал, или только сейчас начал шалить?
Работал, но с каждым днем все хуже и хуже, а сейчас просто настал момент откровения, совсем встал.
wikipost
ac06.04.2012 14:18
figaro пишет: А почта пользователей, которая на сервере тоже перенесется в Е5 ?

Да, я же написал выше — помогу перенести. Придётся вручную запускать утилитку конвертации e4in, но для 25 ящиков это должно быть не сложно и не долго.

figaro пишет: За переход — согласен, только "ЗА".

Тогда высылайте на support@eserv.ru ваши рег.данные (или номер счета или старый ключ), я в ответ вышлю новый ключ, ссылки для установки и дальнейшие инструкции.
wikipost
figaro06.04.2012 15:02
ac пишет: или номер счета или старый ключ
Отправил отсканированный счет , а ключик где лежит я что-то забыл.
wikipost
ac06.04.2012 15:13
Спасибо, теперь нашел вашу фирму, отправил.
wikipost
figaro07.04.2012 10:00
Что-то я не могу ничего вам отправить. Е5 вроде еще не запускал, а при отправке пишет ошибки. Для своих адресов:

Извините, прилагаемое сообщение не было доставлено одному или нескольким получателям:

I'm sorry to have to inform you that the message returned below could not be delivered to one or more recipients:

figaro4@2531900.ru mail.2531900.ru:25 (forward server): 535 Incorrect authentication data
Для вашего то-же самое. support@eserv.ru mail.2531900.ru:25 (alternate relay): 535 Incorrect authentication data и прямая отправка через Агаву не работает, запрашивает пароль. У них там авария, что-ли? И при чем здесь порт 535 ?
wikipost
ac07.04.2012 12:46
Процитированные строки "535 Incorrect authentication data" — ответы не Eserv'а, а другого сервера. 535 — это не порт, а код ошибки в smtp.

А возвращал вам письмо Eserv, потому что не смог отправить почту наружу (получал при попытках отправки эту самую 535ю ошибку от внешнего сервера). Отправляйте напрямую по MX, а не через Агаву, и всё наладится.
wikipost
figaro07.04.2012 15:07
нет у меня МХ и не будет, у нас IP динамический. И как тогда отправить почту от имени учетной записи donpac.ru ? Его по МХ от меня ни один уважающий себя сервер не примет.
wikipost
ac07.04.2012 15:19
Ну раз Агава тоже записала себя в уважающие, то остаётся вариант договориться с провайдером отправлять через его сервер. Или договориться с ним о статическом IP.
wikipost
ac07.04.2012 18:14
Транзитную часть (SMTP, pop3recv, исходящую почту) можно вообще оставить от PigMail'а, а перевести под E5 только раздающую (IMAP). Т.е. роботами PigMail отправлять поступающую почту в почтовый индекс E5. Это если "малой кровью".

Но MX-то лучший выход при любом раскладе, и если уж началась перестройка почты, то может стоит и об этом задуматься.
wikipost
asm07.04.2012 22:09
ред: 07.04.2012 22:23
ac пишет: Работа PigMail с E4 и E5 в принципе возможна, такой опыт есть у Dandy (asm@eserv.ru, автор Mstat). Либо можно перейти на E4 без PigMail, если особо специфический функционал PigMail не используется.


принципиально скрестить E4 (бинарники acImap4 и acSMTP4 с конфигом Pigmail 1.3x) в итоге удалось. Периодически в лог вываливаются исключения (отладка) Sqlite-a и некоторые другие, но в целом связка работает почти стабильно сегодня добавил 2 SSD диска Intel 320 в RAID1, куда перекинул каталоги пользователей. производительность возросла на порядок (для повышения надежности настроены shadow копирование раздела на RAID1 из "зеленых" обычных HDD + копии почты средствами самого Eserv-a копируются на NFS хранилище)

из "нюансов" E4/E5, которые я отметил для себя:
  • изменилась логика хранения писем (общий каталог для всех входящих по всем пользователям), мне она до сих пор не стала близка и, боюсь, не станет. с таким огромных INBOX-ом (аля архивом) просто невозможно нормально работать, когда требуется провести выборочную чистку/восстановление/поиск
  • до сих пор не решен вопрос очистки индексов от старых записей. так если сами файлы (тела писем) еще можно чистить с помощью eachfile, то ни индексы писем (.messages), ни индексы заголовков (.headers) вычищать невозможно (без написания своих утилит — мне пришлось такую утилиту "паять"). так как индексы растут и расти будут (начиная с E4, Eserv не только не теряет почту, он даже не удалят то, что ему сказали удалить т.е. почта, попавшая однажды в один из inbox-ов обречена вечно существовать, даже если пользователь захочет письмо удалить (удалится только индекс)
P.S. мое личное мнение, что E4/E5 хороши, но не идеальны.. их бы "вылизать", довести до качества, которым в свое время обладал E2/E3+Pigmail, а не гнаться за новым, мало кому реально нужным, функционалом... ИМХО
wikipost
ac07.04.2012 23:02
asm пишет: (общий каталог для всех входящих по всем пользователям) с таким огромных INBOX-ом (аля архивом) просто невозможно нормально работать

Но ведь ровно наоборот: архив стал строго гранулированным по годам/месяцам/дням, а внутри еще и по popfile-классам или доменам. Для архивации просто милое дело, в чем я убедился на практике прошлым летом при переносе сервера.

А в старой системе было только по доменам и классам, из-за чего папки с некоторыми популярными доменами "переставали открываться".

Ну и потом, разве E4/E5 противятся иной организации архивов?

asm пишет: т.е. почта, попавшая однажды в один из inbox-ов обречена вечно существовать, даже если пользователь захочет письмо удалить (удалится только индекс)

Ну, Андрей, вы же давно знаете, как все-таки удалять удаляемое. Да и в стандартном конфиге E4 уже давно:

: imap/OnMessageDelete \ ." IMAP DELETE: " FILE-TO-DELETE TYPE CR FILE-TO-DELETE S" Dirs[Mail]" EVALUATE SEARCH NIP NIP 0= \ из общего архива не удаляем IF FILE-TO-DELETE DELETE-FILE DROP THEN ;


asm пишет: а не гнаться за новым, мало кому реально нужным, функционалом...

Так ведь сколько людей, столько и нужд. Сейчас на первом месте по востребованности Groupware (в этом месяце занимаюсь мобильным) и веб-функционал. С почтой всё чинно-благородно, жалоб практически нет (не считая, опять же, пожеланий по доработке веб-почты, которые постепенно удовлетворяются).
wikipost
ac07.04.2012 23:06
asm пишет: копии почты средствами самого Eserv-a копируются на NFS хранилище

Для бэкапа еще добавлена поддержка Amazon AWS, на eserv.ru используется несколько месяцев. Для сервера, который физически труднодоступен, так проще, чем добавление локальных дисков.
wikipost
figaro08.04.2012 01:03
figaro пишет: figaro4@2531900.ru mail.2531900.ru:25 (forward server): 535 Incorrect authentication data
— про это забудем. просто у нас забыли хостинг проплатить и в этот день как раз и закончился. Проплатили, ошибка пропала.
wikipost
figaro08.04.2012 01:09
ac пишет: Транзитную часть (SMTP, pop3recv, исходящую почту) можно вообще оставить от PigMail'а, а перевести под E5 только раздающую (IMAP). Т.е. роботами PigMail отправлять поступающую почту в почтовый индекс E5. Это если "малой кровью".

А каким образом настроить роботов? Можно примерчик?
wikipost
ac08.04.2012 01:19
По роботам PigMail'а лучше Игоря спросить или в документации. Запускаться (для добавления в индекс) должен e4in.exe, который вы вчера уже освоили.
wikipost
figaro08.04.2012 01:25
ac пишет: Запускаться (для добавления в индекс) должен e4in.exe

Если с ним, то примерную схему я уже предсавил себе. У e4in.exe есть особые параметры запуска, чтобы добавлять в индекс по одному письму?
wikipost
asm08.04.2012 02:01
ac пишет: Ну, Андрей, вы же давно знаете, как все-таки удалять удаляемое. Да и в стандартном конфиге E4 уже давно:


Андрей ну вы же прекрасно сами знаете подводный камень данного кода тут же нет механизма подсчета ссылок на данный файл (как это сделано в *nix-ах и в NTFS-е, кстати, тоже). Т.е. если одно и тоже письмо пришло 2-ум сотрудникам (скажем директору и секретарю) и оба еще НЕ успели перенести его в каталог собственной иерархии (а на практике большинство пользователей и используют только inbox — как, кстати, google советует и реализует в gmail.com), и секретарь решит удалить сообщение, то директор увидит что? правильно! "Оригинал сообщения отсутствует"

а общем, мое мнение осталось неизменным: "логика положенная в систему хранения почты очень хороша, функциональна, но только ее надо довести до ума — отполировать, так сказать"
wikipost
asm08.04.2012 02:05
виноват, слона-то я и не заметил( описанной мною проблемы нет, но приведенный код говорит о том, что письма в общем хранилище будут лежать вечно, даже если ни у кого из пользователей в индексах не будет ни одной ссылки на них
wikipost
ac08.04.2012 02:44
figaro пишет: У e4in.exe есть особые параметры запуска, чтобы добавлять в индекс по одному письму?

Есть такая же команда, которой и acSMTP[4|5] добавляет в индекс — INJECT1.

e4in.exe S" filename.eml" S" target\directory" INJECT1 BYE


Пробел после S" обязателен.
wikipost
ac08.04.2012 14:37
asm пишет: письма в общем хранилище будут лежать вечно

На то оно и хранилище. Но попробуйте заархивировать в этом хранилище почту старее года — никто не заметит! Так что диск у вас не закончится, если вы об этом.
wikipost
Комментарии к этой версии (05.04.2012 18:18) [~ac] 1ef4b90a
Работает на Eserv/5.05555 (05.06.2016)