* Загрузка процессора 99% - все виснет !!!

Новости

12.10.2009
Переезд завершен

Здравствуйте.
Очень большая проблема. acImap загружает процессор на сервере на 99 процентов, (общая загрузка ядер = 100%). При этом все "виснет" и никто не получить не отправить почту не может, подключиться к серверу терминалом в это время становиться практически невозможно — не хватает ресурсов. Подскажите как с этим бороться? Периодически активность падает, но потом опять подымается на 100%. Учетных записей почты — 25 шт. (лицензия на 50 пользователей) все подключены по Imap. Что делать?

Автор

Дата

Текст

tags

figaro

04.04.2012 14:17

Зачем почту удалять? У нас доступ не по Pop3 а по IMAP. Почта храниться должна на сервере , а не на локальном компьютере. И удалять ничего не нужно, нам вся переписка нужна.

wikipost

figaro

04.04.2012 14:18

Я бы перешел на Е4 , и лицензия у меня оплачена, но только вот беда — у меня стоит PigMail

wikipost

04.04.2012 14:37

Не всю почту удалять, а только ту, которая не нужна. Люди её обычно сами удаляют, но не знают особенности IMAP, что эта почта на самом деле остаётся на сервере с пометкой "удалено", а физически не удаляется, пока не сделают expunge ("очистка" или "сжатие" в русских версиях IMAP-клиентов), и соответственно весь этот мусор гоняется сервером впустую.

wikipost

figaro

04.04.2012 19:23

Т.е. вы этим самым хотите сказать, что данный почтовый сервер просто физически не предназначен для содержания в почтовом ящике более 10-ти писем на пользователя? Тогда это что — "игрушечный" вариант? А сколько у вас держит рабочая лошадка? И где эта лошадка? Это Е5 ? А он сколько писем потянет в почтовом ящике пользователя? 100 ? Или 150 и дальше тоже сервер "подвесит" ?

wikipost

04.04.2012 19:46

Нет, я этого не хочу сказать. У меня у одного почты в одном из моих ящиков (точнее даже в одной только папке spam этого ящика) на eserv.ru почты больше, чем на всем вашем сервере из 300 папок, и сервер не загибается, хотя на нем еще несколько десятков веб-серверов и сервер обновлений Eserv, который непрерывно дергается сотнями Eserv'ов одновременно.

Вот папка спам больше года назад, сейчас там еще больше (я специально не чищу)

http://www.eserv.ru/~ac/Юбилей папки spam?mid=92

Игрушечный не Eserv, а файловая система Windows, из-за чего и пришлось прикручивать индексацию и менять планировку папок (тяжелой операцией для сервера (для Windows) является именно перебор дерева папок), хотя, казалось бы, эти папки и так хранятся индексированными в NTFS.

wikipost

04.04.2012 20:05

ac пишет: сейчас там еще больше

Нет, я не прав, сейчас в моей папке spam меньше ста тысяч, т.к. при переносе сервера в августе прошлого года спам не переносился. Но и за эти месяцы в папке spam набралось немало — 78 тысяч, и это только в моем личном ящике.

wikipost

04.04.2012 20:22

Средний размер спам-письма за эти 7 месяцев — 28Кб, интенсивность поступления спама не изменилась с 2010 года — 10тыщ в месяц в один ящик. Это тот спам, который не был остановлен RBL'ами, а дошел до байесов и отправлен в spam.

wikipost

figaro

05.04.2012 10:48

[121008 bytes]
Хорошо, если у вас все так прекрасно, то на каком основании у меня все так плохо?
Может мне вместо Винды на линуксе все поставить?

wikipost

figaro

05.04.2012 11:06

Вычистил у всех пользователей корзины. Все равно:

[11284 bytes]

wikipost

05.04.2012 11:12

Основание я объяснил выше.

figaro пишет: Может мне вместо Винды на линуксе все поставить?

Можете поставить (и мы можем вернуть деньги, уплаченные за E3, если вы разочарованы). А может быть достаточно просто выполнить дефрагментацию тома или поставить более быстрый диск.

Хотя приведенная картинка наводит на другие мысли: у вас не Eserv и не файловая система сейчас тормозит, а своп. Память занята более чем на 90%, соответственно либо Windows занят расширением своп-файла (это всегда визуально "вешает" систему), либо отдаёт процессам всю "свободную" память, отнимая её у дискового кэша (это тоже очень плохо, т.к. теперь каждый сектор заново перечитывать, т.е. производительность диска катастрофически падает).

Надо посмотреть в списке процессов, кто съедает аж 4 гига. Может там кому-нибудь урезать статический кэш в настройках (например, MySQL), а кого-нибудь просто перезапустить (браузер?). Надо добиться, чтобы хотя бы один гиг был всегда свободен (на самом деле у винды свободной памяти не бывает — вся свободная память отдается под дисковый кэш, что благоприятно сказывается на работе).

На eserv.ru памяти 2 Гб, и пока хватает. Основным потребителем памяти у нас является acFilter (в E4-E5 в этом процессе сидят базы байесов и антивирусов).

wikipost

05.04.2012 11:16

Новая картинка даже еще хуже. Вы держите Eserv в сухом теле

Я боялся, что вы покажете, что у вас один только acIMAP занимает под гигабайт, но выходит, что по памяти Eserv у вас совсем незаметен на общем фоне.

wikipost

05.04.2012 11:19

figaro пишет: Вычистил у всех пользователей корзины.

Через expunge? Файлов-то стало меньше?

ac пишет: Надо посмотреть в списке процессов, кто съедает аж 4 гига.

wikipost

figaro

05.04.2012 12:08

Ну вот , посмотрел, сортировка по потреблению памяти, за это время acImap немножко даже "подрос".

[73486 bytes]

wikipost

05.04.2012 13:19

На 4 гигабайта сумма не тянет. Даже на гигабайт. Стоит добавить столбец "выделенная память", может это подаст идеи, куда всё уходит.

wikipost

figaro

05.04.2012 17:13

ac пишет: мы можем вернуть деньги, уплаченные за E3, если вы разочарованы

По поводу разочарования — конечно, только ведь я платил за лицензию Е4 + PigMail, а пользуюсь E3 .
Может действительно я что-то отстал и мне пора обновление ставить? Подскажите, что мне нужно обновить, и откуда скачать? У меня сейчас пишет следующее: "PigMail + PigProxy — Управление серверами версия 2.3 на базе Eserv / Eproxy v3.36beta" — может это уже совсем устаревший вариант?

wikipost

05.04.2012 18:24

И еще интересный вопрос — раз у вас Eserv/3, значит вы используете Eserv как минимум 4 года. Вы раньше не использовали IMAP? Но раз много почты накопилось, значит использовали. Раньше не тормозил? Видимо что-то радикально изменилось в конфигурации именно в последнее время, может оттуда и начать поиск.

wikipost

figaro

06.04.2012 10:25

Какой там 4 года? Я еще раз повторяю: Оплачен Е4 год назад и Pigmail.
Вот моя первая ветка:

http://forum.eserv.ru/E3/Eserv 3 Mail Server Support/Отправка и Получение почты с разных IP#6
Но мне сказали, что Е4 и Pigmail вместе не работают, и мне пришлось установить Е3. Спасибо за вашу "доброту". Я вообще-то хотел-бы перейти на Е4 , но мне в этом отказали, хотя я проплатил по стоимости за него.... да и еще за Pigmail. А теперь у меня вот это (скриншоты). Все замерло и ничего не работает. В Касперском проверка этого каталога запрещена. Перезапуск службы не помогает, после перезапуска опять все на 100% занято. Жжжжесть

[147439 bytes]

[149660 bytes]

wikipost

06.04.2012 10:52

Хорошо, не 4 года, а год. Он весь год у вас не работал, или только сейчас начал шалить? Каким-то образом вы раньше эти 60 тыс. сообщений читали?

figaro пишет: В Касперском проверка этого каталога запрещена.

Это мало что меняет, т.к. его драйвер в системе остаётся, и обрабатывает все файловые и сетевые операции.

wikipost

06.04.2012 11:04

Раз все равно ничего не работает, и раз вы не можете вернуться к той ситуации, когда все еще работало, то предлагаю такой сценарий дальнейших действий: я вышлю вам ключ для E5, вы поставите E5 в соседний каталог, и я помогу импортировать всех пользователей и почту из старой версии в новую.

Чтобы на этот переходный период ваши пользователи могли продолжить работу с почтой, вам надо остановить часть Thunderbird'ов (особенно тот, который читает всё почтовое дерево целиком [в E3 и PigMail есть такие спец.учетки], если такое у вас используется), потом переключить этих пользователей на POP3 с сохранением почты на сервере.

wikipost

figaro

06.04.2012 13:55

ac пишет: вы поставите E5 в соседний каталог, и я помогу импортировать всех пользователей и почту из старой версии в новую

За переход — согласен, только "ЗА". Я для такого случая могу даже всем прекратить доступ на время перехода, благо сегодня пятница. А почта пользователей, которая на сервере тоже перенесется в Е5 ?

wikipost

figaro

06.04.2012 13:56

ac пишет: Он весь год у вас не работал, или только сейчас начал шалить?

Работал, но с каждым днем все хуже и хуже, а сейчас просто настал момент откровения, совсем встал.

wikipost

06.04.2012 14:18

figaro пишет: А почта пользователей, которая на сервере тоже перенесется в Е5 ?

Да, я же написал выше — помогу перенести. Придётся вручную запускать утилитку конвертации e4in, но для 25 ящиков это должно быть не сложно и не долго.

figaro пишет: За переход — согласен, только "ЗА".

Тогда высылайте на support@eserv.ru ваши рег.данные (или номер счета или старый ключ), я в ответ вышлю новый ключ, ссылки для установки и дальнейшие инструкции.

wikipost

figaro

06.04.2012 15:02

ac пишет: или номер счета или старый ключ

Отправил отсканированный счет , а ключик где лежит я что-то забыл.

wikipost

06.04.2012 15:13

Спасибо, теперь нашел вашу фирму, отправил.

wikipost

figaro

07.04.2012 10:00

Что-то я не могу ничего вам отправить. Е5 вроде еще не запускал, а при отправке пишет ошибки. Для своих адресов:

Извините, прилагаемое сообщение не было доставлено одному или нескольким получателям:

I'm sorry to have to inform you that the message returned below could not be delivered to one or more recipients:

figaro4@2531900.ru mail.2531900.ru:25 (forward server): 535 Incorrect authentication data
Для вашего то-же самое. support@eserv.ru mail.2531900.ru:25 (alternate relay): 535 Incorrect authentication data и прямая отправка через Агаву не работает, запрашивает пароль. У них там авария, что-ли? И при чем здесь порт 535 ?

wikipost

07.04.2012 12:46

Процитированные строки "535 Incorrect authentication data" — ответы не Eserv'а, а другого сервера. 535 — это не порт, а код ошибки в smtp.

А возвращал вам письмо Eserv, потому что не смог отправить почту наружу (получал при попытках отправки эту самую 535ю ошибку от внешнего сервера). Отправляйте напрямую по MX, а не через Агаву, и всё наладится.

wikipost

figaro

07.04.2012 15:07

нет у меня МХ и не будет, у нас IP динамический. И как тогда отправить почту от имени учетной записи donpac.ru ? Его по МХ от меня ни один уважающий себя сервер не примет.

wikipost

07.04.2012 15:19

Ну раз Агава тоже записала себя в уважающие, то остаётся вариант договориться с провайдером отправлять через его сервер. Или договориться с ним о статическом IP.

wikipost

07.04.2012 18:14

Транзитную часть (SMTP, pop3recv, исходящую почту) можно вообще оставить от PigMail'а, а перевести под E5 только раздающую (IMAP). Т.е. роботами PigMail отправлять поступающую почту в почтовый индекс E5. Это если "малой кровью".

Но MX-то лучший выход при любом раскладе, и если уж началась перестройка почты, то может стоит и об этом задуматься.

wikipost

asm

07.04.2012 22:09
ред: 07.04.2012 22:23

ac пишет: Работа PigMail с E4 и E5 в принципе возможна, такой опыт есть у Dandy (asm@eserv.ru, автор Mstat). Либо можно перейти на E4 без PigMail, если особо специфический функционал PigMail не используется.

принципиально скрестить E4 (бинарники acImap4 и acSMTP4 с конфигом Pigmail 1.3x) в итоге удалось. Периодически в лог вываливаются исключения (отладка) Sqlite-a и некоторые другие, но в целом связка работает почти стабильно

сегодня добавил 2 SSD диска Intel 320 в RAID1, куда перекинул каталоги пользователей. производительность возросла на порядок (для повышения надежности настроены shadow копирование раздела на RAID1 из "зеленых" обычных HDD + копии почты средствами самого Eserv-a копируются на NFS хранилище)

из "нюансов" E4/E5, которые я отметил для себя:

изменилась логика хранения писем (общий каталог для всех входящих по всем пользователям), мне она до сих пор не стала близка и, боюсь, не станет. с таким огромных INBOX-ом (аля архивом) просто невозможно нормально работать, когда требуется провести выборочную чистку/восстановление/поиск
до сих пор не решен вопрос очистки индексов от старых записей. так если сами файлы (тела писем) еще можно чистить с помощью eachfile, то ни индексы писем (.messages), ни индексы заголовков (.headers) вычищать невозможно (без написания своих утилит — мне пришлось такую утилиту "паять"). так как индексы растут и расти будут (начиная с E4, Eserv не только не теряет почту, он даже не удалят то, что ему сказали удалить т.е. почта, попавшая однажды в один из inbox-ов обречена вечно существовать, даже если пользователь захочет письмо удалить (удалится только индекс)

P.S. мое личное мнение, что E4/E5 хороши, но не идеальны.. их бы "вылизать", довести до качества, которым в свое время обладал E2/E3+Pigmail, а не гнаться за новым, мало кому реально нужным, функционалом...

ИМХО

wikipost

07.04.2012 23:02

asm пишет: (общий каталог для всех входящих по всем пользователям) с таким огромных INBOX-ом (аля архивом) просто невозможно нормально работать

Но ведь ровно наоборот: архив стал строго гранулированным по годам/месяцам/дням, а внутри еще и по popfile-классам или доменам. Для архивации просто милое дело, в чем я убедился на практике прошлым летом при переносе сервера.

А в старой системе было только по доменам и классам, из-за чего папки с некоторыми популярными доменами "переставали открываться".

Ну и потом, разве E4/E5 противятся иной организации архивов?

asm пишет: т.е. почта, попавшая однажды в один из inbox-ов обречена вечно существовать, даже если пользователь захочет письмо удалить (удалится только индекс)

Ну, Андрей, вы же давно знаете, как все-таки удалять удаляемое. Да и в стандартном конфиге E4 уже давно:

: imap/OnMessageDelete \ ." IMAP DELETE: " FILE-TO-DELETE TYPE CR FILE-TO-DELETE S" Dirs[Mail]" EVALUATE SEARCH NIP NIP 0= \ из общего архива не удаляем IF FILE-TO-DELETE DELETE-FILE DROP THEN ;

asm пишет: а не гнаться за новым, мало кому реально нужным, функционалом...

Так ведь сколько людей, столько и нужд. Сейчас на первом месте по востребованности Groupware (в этом месяце занимаюсь мобильным) и веб-функционал. С почтой всё чинно-благородно, жалоб практически нет (не считая, опять же, пожеланий по доработке веб-почты, которые постепенно удовлетворяются).

wikipost

07.04.2012 23:06

asm пишет: копии почты средствами самого Eserv-a копируются на NFS хранилище

Для бэкапа еще добавлена поддержка Amazon AWS, на eserv.ru используется несколько месяцев. Для сервера, который физически труднодоступен, так проще, чем добавление локальных дисков.

wikipost

figaro

08.04.2012 01:03

figaro пишет: figaro4@2531900.ru mail.2531900.ru:25 (forward server): 535 Incorrect authentication data

— про это забудем. просто у нас забыли хостинг проплатить и в этот день как раз и закончился. Проплатили, ошибка пропала.

wikipost

figaro

08.04.2012 01:09

ac пишет: Транзитную часть (SMTP, pop3recv, исходящую почту) можно вообще оставить от PigMail'а, а перевести под E5 только раздающую (IMAP). Т.е. роботами PigMail отправлять поступающую почту в почтовый индекс E5. Это если "малой кровью".

А каким образом настроить роботов? Можно примерчик?

wikipost

08.04.2012 01:19

По роботам PigMail'а лучше Игоря спросить или в документации. Запускаться (для добавления в индекс) должен e4in.exe, который вы вчера уже освоили.

wikipost

figaro

08.04.2012 01:25

ac пишет: Запускаться (для добавления в индекс) должен e4in.exe

Если с ним, то примерную схему я уже предсавил себе. У e4in.exe есть особые параметры запуска, чтобы добавлять в индекс по одному письму?

wikipost

asm

08.04.2012 02:01

ac пишет: Ну, Андрей, вы же давно знаете, как все-таки удалять удаляемое. Да и в стандартном конфиге E4 уже давно:

Андрей

ну вы же прекрасно сами знаете подводный камень данного кода

тут же нет механизма подсчета ссылок на данный файл (как это сделано в *nix-ах и в NTFS-е, кстати, тоже). Т.е. если одно и тоже письмо пришло 2-ум сотрудникам (скажем директору и секретарю) и оба еще НЕ успели перенести его в каталог собственной иерархии (а на практике большинство пользователей и используют только inbox — как, кстати, google советует и реализует в gmail.com), и секретарь решит удалить сообщение, то директор увидит что?

правильно! "Оригинал сообщения отсутствует"

а общем, мое мнение осталось неизменным: "логика положенная в систему хранения почты очень хороша, функциональна, но только ее надо довести до ума — отполировать, так сказать"

wikipost

asm

08.04.2012 02:05

виноват, слона-то я и не заметил( описанной мною проблемы нет, но приведенный код говорит о том, что письма в общем хранилище будут лежать вечно, даже если ни у кого из пользователей в индексах не будет ни одной ссылки на них

wikipost

08.04.2012 02:44

figaro пишет: У e4in.exe есть особые параметры запуска, чтобы добавлять в индекс по одному письму?

Есть такая же команда, которой и acSMTP[4|5] добавляет в индекс — INJECT1.

e4in.exe S" filename.eml" S" target\directory" INJECT1 BYE

Пробел после S" обязателен.

wikipost

08.04.2012 14:37

asm пишет: письма в общем хранилище будут лежать вечно

На то оно и хранилище. Но попробуйте заархивировать в этом хранилище почту старее года — никто не заметит! Так что диск у вас не закончится, если вы об этом.

wikipost

Eserv Forum / E3 / Eserv 3 Mail Server Support / Загрузка процессора 99% - все виснет !!!