Регистрация...

Eserv Forum / E3 / Eserv 3 Mail Server Support / Вопросы по тормозам и антиспаму

imported // (v1)
Продукты и услуги Скачать Документация Купить Поддержка Форумы Партнёрам Статьи О компании
Новости
12.10.2009
Переезд завершен
Добрый день. Есть пара вопросов.
1) Eserv/3 страшно тормозит. Есть 3 домена. Всего около 50 пользователей. Все по IMAP идет. В-основном пользователи внутри одной локали, соединены с сервером 100-мегабиткой. Открытие папки, в которой 100 сообщений — это повеситься можно, обычно приходится руками перезагружать acIMAP, тогда более-менее работает. Некоторым людям набегает по 20 полезных сообщений в день, так что чистить на таком уровне бессмысленно. При этом загрузка процессора (пень D) обычно на уровне 5-10%, часто ниже, очень редко — выше. Антивирус — касперский 5. У клиентов thunderbird везде. Что посоветуете?
2) В конце прошлого года почему-то слетел антиспам. Полностью. То ли мои кривые ручки, то ли еще что, но на все ящики пошел мощный поток спама. В этом году обновили popfile, mcontent. Антиспам поднялся. Но недавно выяснилось, что спам весь идет в data\mail\spam, а не в папку пользователя spam, что совершенно недопустимо. Как исправить?
 
Комментарии к этой версии (03.02.2008 13:49) [~JDima] abd8ee69
АвторДатаТекстtags
pig03.02.2008 17:27
Спам в ящик адресата тоже должен попадать, если доехал до DATA\mail\spam\. Только он может попадать не в папку spam, а в INBOX — если папка spam не была создана.

А спам мог повалиться по одной простой причине — спамеры новую технологию применили. Плюс с октября поток спама действительно вырос в разы.
imported
JDima03.02.2008 17:58
Спам в ящик адресата тоже должен попадать, если доехал до DATA\mail\spam\. Только он может попадать не в папку spam, а в INBOX — если папка spam не была создана.

Папка spam есть и всегда была у всех.
Где находится скрипт, переносящий в конкретную папку spam пользователя?
А спам мог повалиться по одной простой причине — спамеры новую технологию применили.

Может, я неправильно выразился... Речь о том, что ВЕСЬ спам проходил, ни одно сообщение не отфильтровалось. Началось в декабре.
imported
pig03.02.2008 18:34
  1. conf\smtp\delivery\Local.rules.txt
  2. Вообще, конечно, есть вероятность, что спам до адресата не дойдёт — если вы его правилом в MContent давите. Или у вас PigMail с соответствующими настройками — там можно спам завернуть спам-администратору, или он никуда не пойдёт, если его засечёт упрощённый фильтр.
  1. Хотелось бы видеть лог какой-нибудь на это время. Например, лог POPfile. Или хотя бы лог доставки (DATA\mail\smtp\*mail.txt), в котором виден класс сообщений.
imported
JDima03.02.2008 19:16
conf\smtp\delivery\Local.rules.txt

Там все в порядке.
Вообще, конечно, есть вероятность, что спам до адресата не дойдёт — если вы его правилом в MContent давите. Или у вас PigMail с соответствующими настройками — там можно спам завернуть спам-администратору, или он никуда не пойдёт, если его засечёт упрощённый фильтр.

Нашел mcontent в eserv3.ini, проглядел раньше, был включен, теперь отключен. Подожду немного, пока пойдет спам _существующему_ пользователю домена, проверю. Про Pigmail — как проверить?

Хотелось бы видеть лог какой-нибудь на это время.

Вот из data\log\*smtp. Адреса стерты.
18:57:25 15 MAIL FROM:<tkuhlmann@conekilbourn.com>
18:57:25 15 Accepted
18:57:25 15 Reply: 250 tkuhlmann@conekilbourn.com OK
18:57:26 15 RCPT TO: <
*@*.ru>
18:57:27 15 Local domain user, accepted
18:57:27 15 Reply: 250
*@*.ru OK, my domain user
18:57:28 15 DATA
18:57:28 15 Reply: 354 send the mail data, end with .
18:57:31 15 Message has been received completely, 4115 bytes size
18:57:31 15 Antispam POPfile/SpamProtexx/LibSD check detected spam (message class: spam)
18:57:31 15 Moved to folder: ..\DATA\mail\spam
18:57:31 15 Deleted
18:57:31 15 Reply: 554 Sorry, your message looks like a spam. Please visit http://mail.
*.ru:80/MailClassify/tkuhlmann@conekilbourn.com!15!20080203!185731!1!2.eml
18:57:32 15 STAT: 4225:533:168:583:25031


popfile1201996800.txt
2008/2/3 18:35:29 1212: bayes: 708: Attempting to connect to dbi:SQLite:Dbname=./popfile.db (1)
2008/2/3 18:35:29 1212: bayes: 714: Using SQLite library version 2.8.5
2008/2/3 18:35:35 1212: WARNING: Couldn't open POPFile packing list (./popfile.pck) so cannot check configuration[0a]

"DATA\mail\smtp\" нет такой папки.
imported
JDima03.02.2008 19:30
И еще один вопрос, связанный с разгрузкой сервера. Хотелось бы перевести большинство (не всех!) пользователей домена на pop3. Однако, есть очевидная польза IMAP-папки spam (not_spam) и связанных с ней блек и вайт листов. Была мысль сделать по 2 аккаунта на каждом компьютере, один — поп, другой — имап. Все неспамовые письма приходят на POP и IMAP. Проверяется только pop. Если там есть спам, в IMAP аккаунте глазами находится это письма и перемещается в spam с задействованием соответствующих скриптов. Если есть подозрение, что пропущено нужное письма, проверяется IMAP аккаунт, если письмо найдено, то в not_spam его, и далее оно появляется во входящих у pop аккаунта. Вопрос — как это реализовать? И есть ли более простые решения для ускорения работы сервера, если IMAP устраивает всем кроме скорости работы?

Кстати, простое отключение mcontent в eserv3.ini не помогло. Логи не изменились, spam пользователя не пополняется.

Добавление: доставку до пользователя исправил сам, в eserv.ini была отключена.
Возможно ли сделать так, чтобы каждый месяц сама создавалась папка с архивом входящих и папка с архивом исходящих за прошлый месяц?
imported
pig04.02.2008 01:08
У вас стоит PigMail, причём достаточно старая версия. Поэтому папки DATA\log\smtp по умолчанию нет. Спам до адресатов не доходит потому, что вы отключили его доставку в настройках антиспама (я и забыл, что такая опция у меня есть).

По скорости работы IMAP надо выяснять. До сих пор жаловались на тормоза, когда счёт писем в папках шёл на тысячи. В принципе, можно включить доставку всего в INBOX и работать по POP3. Для переклассификации в этом случае используется робот MailClassify на движке MContent — см. myconf\smtp\robots\MailClassify\readme.txt

Судя по тому, что PigMail у вас старый, то и сам Eserv такой же (дремучей, лохматой — нужное подчеркнуть) давности, имеет смысл обновить всё до последних версий, тогда избежим разночтений.

Да, в приведённом логе спам как раз успешно заловлен. Интересно было бы видеть, как он не ловился. Может, что-то писалось в *SMTPErr.log?
imported
JDima04.02.2008 14:47
Еще вопрос.
Перетащил руками (то есть через проводник) на сервере часть сообщений из "отправленных" в другую папку. Они там не читаются. То есть Thunderbird их явно получает, загрузка заголовков проходит успешно, но их не видно. После перемещения их обратно — все равно не читаются. При этом новые "отправленные", которые после этого сделаны, видны. Как лечить?

Самое интересное, что в папке "входящие" они видны, если поодиночке переносить.
imported
pig04.02.2008 17:24
Наверное, придётся в проблемных папках убить индексные файлы ._uids_.txt
Хотя не факт, что поможет — вдруг это приколы самого Thunderbird (раз получает заголовки, но не показывает письма).
imported
JDima04.02.2008 22:03
Дык убивал...
imported
pig05.02.2008 02:03
Попробуйте обновить Eserv и PigMail. Всё равно надо по-хорошему, а то в один прекрасный момент друг друга не поймём (фичи добавлялись, ошибки исправлялись, логика немного менялась). Можете заодно попробовать новейший acIMAP с поддержкой множества сессий на одном ящике. Если не поможет, будем разбираться дальше.
imported
JDima16.02.2008 15:46
Обновил eserv и pigmail до последних версий (первый — просто поставив последнее обновление, последний был 1.31, по очереди обновлял до 1.32 и 1.33). Сервер не рухнул
1) Про тормоза — остались. С delay разного рода поигрался, не помогает. Сейчас ни один человек не подключен к серверу, но папка на 100 писем открывалась секунд 30. Сеть в этот момент практически неактивна, изредка помигивает. Процессор — P-D 2,8 — загружен на жалкие проценты. Дисковый массив практически не напрягается в этот момент. Как будто еще где-то delay обозначен, кроме eserv.ini и иже с ним.
О pop думаю, но все же пока недостаточно изучил процесс перевода с imap. Ведь перевести надо быстро, сразу, буз долгих танцев с бубном. Конечно, хотелось бы увидеть мануал...
И как обновить версию acIMAP? Она не обновляется вместе с eserv и pigmail?
2) Про письма-призраки. Все осталось как было. Проверил outlook express — то же самое. Как будто грузит, но ни в каком виде не отображает даже заголовки, ни единого признака их наличия кроме надписи "loading m/n headers", где m и n заметно больше, чем видимых писем в папке. Такое ощущение, что сервер ставит какую-либо пометку на письмо вида "не открывать" — такое возможно? uids убивал. Даже если не убивать, все равно если перетащил из папки несколько писем наружу и снова обратно, то большая часть остается невидимой. Подозреваю, что в каких-то конфигах отмечен факт исчезновения, и письма считаются несуществующими. Еще раз напомню, что письма перемещались напрямую через "проводник".

Очень надо решить обе проблемы.
imported
leka16.02.2008 16:41
И как обновить версию acIMAP? Она не обновляется вместе с eserv и pigmail?

http://www.eserv.ru/download/server_exe.rar
imported
JDima16.02.2008 17:12
Она не обновляется вместе с остальным?
imported
leka16.02.2008 17:21
JDima пишет: Она не обновляется вместе с остальным?
То есть, если обновил сервера и PigMail до последних версий, скачай этот архив, останови все службы серверов, забекапь их на всякий случай, чтобы можно было откатиться назад, и обнови EXE-файлы из архива в соответствующие папки...
imported
pig16.02.2008 19:30
JDima пишет: Она не обновляется вместе с остальным?

Обновляется. Просто по ссылке — свежие беты, новее, чем в релизе. На данный момент, естественно; архив обновляется по мере необходимости, часто свежие EXE выкладываются отдельно, не попадая туда.

JDima пишет: тормоза — остались. С delay разного рода поигрался, не помогает. Сейчас ни один человек не подключен к серверу, но папка на 100 писем открывалась секунд 30. Сеть в этот момент практически неактивна, изредка помигивает. Процессор — P-D 2,8 — загружен на жалкие проценты. Дисковый массив практически не напрягается в этот момент. Как будто еще где-то delay обозначен, кроме eserv.ini и иже с ним.

Тогда добро пожаловать в техподдержку. Сразу приложите туда соответствующий фрагмент оперативного журнала.
Да, на локальной машине резидентный антивирус есть? Почтовые папки проверяет? Объём папок большой? Просто очень может быть, что тормозит на самом деле клиент. Если полностью очистить локальные папки (в том числе и от памяти UIDL) — тормоза останутся?

JDima пишет: Даже если не убивать, все равно если перетащил из папки несколько писем наружу и снова обратно, то большая часть остается невидимой. Подозреваю, что в каких-то конфигах отмечен факт исчезновения, и письма считаются несуществующими.

Единственное место в acIMAP, где существуют отметки о содержимом папки — это _uids_.txt. Если где-то что-то и запоминается дополнительно, то в почтовом клиенте.
imported
JDima18.02.2008 17:27
Да, на локальной машине резидентный антивирус есть?

Нет. Есть сканирование писем касперским, подключенным к серверу.
Единственное место в acIMAP, где существуют отметки о содержимом папки — это _uids_.txt. Если где-то что-то и запоминается дополнительно, то в почтовом клиенте.

И мозилла, и аутлук одинаково реагировали.
imported
pig18.02.2008 17:58
Тогда http://www.eserv.ru/Support
Сразу приложите подходящий фрагмент оперативного журнала и Eserv3.ini
imported
ac21.02.2008 02:18
JDima пишет: 1) Про тормоза — остались. С delay разного рода поигрался, не помогает. Сейчас ни один человек не подключен к серверу, но папка на 100 писем открывалась секунд 30. Сеть в этот момент практически неактивна, изредка помигивает. Процессор — P-D 2,8 — загружен на жалкие проценты. Дисковый массив практически не напрягается в этот момент. Как будто еще где-то delay обозначен, кроме eserv.ini и иже с ним.

За 30секунд он не 100 писем, а 1000- 10 000 писем должен успеть открыть. Если отключение резидентных антивирусов и firewall'ов не помогает, то, правильно сказано, ждем в support'е с подробностями.

Переход на POP3 в этом случае не поможет, т.к. открытие папки в POP3 и в IMAP делается одной и той же процедурой. У IMAP'а только первое подключение к серверу дольше, чем у POP3, т.к. IMAP-клиент обычно сначала скачивает полный список папок — и тут скорость зависит не от числа писем в INBOX'е, а от числа папок в той учетной записи, которая подключается. А далее, когда папки уже прочитаны, IMAP работает быстрее, чем POP, т.к. ему не нужно больше подключаться/авторизоваться (постоянное подключение к серверу) и читать INBOX целиком, а требуется только "дочитывать" новую почту.
imported
akoren06.11.2008 14:07
Ну и как решилась проблема с тормозами в саппорте?
Меня также волнует аналогичные тормоза с IMAP, а также при отправке по SMTP. Такое впечатление, что авторизация тормозит.
imported
ac06.11.2008 17:26
Вы высылали лог и ini?

По поводу IMAP и POP3 — уже есть радикально ускоренная версия acIMAP, с хранимым индексом. Тестируется с сентября на нашем сервере, скоро будет бета.

Где тормозит отправка SMTP выясним так: раскомментируйте "vDebugRules ON" в acSMTP\conf\OnThreadConnect.rules.txt, выполните отправку и вышлите лог на support@eserv.ru или сюда. Большие задержки могут быть на DNS-проверках, здесь неоднократно давались рецепты по их отключению или ускорению.
imported
akoren18.11.2008 12:55
После обновлений до последних версий Eserv+Pigmail c SMTP стало хорошо, спасибо.
А вот с IMAP — Папка с 100 письмами открывается 15 сек. Всего около 10 папок. На 10000 писем гораздо хуже.
А радикально новый IMAP на рабочих-боевых еще не тестировалось? Ежели что — я готов потестить.
Либо как протестить текущий IMAP и какие логи в support отправить?
imported
ac18.11.2008 13:06
Пока тестируется на нашем eserv.ru, вполне рабочем-боевом (Dandy и другие владельцы ящиков в наших доманах наверное могут прокомментировать изменения быстродействия).

Выдать бету могу уже сейчас, но замена acIMAP.exe тянет за собой изменение конфига, замену также acSMTP.exe (с поддержкой нового формата почтовых баз) и т.п. Вместо описания этой хитрой процедуры пытаюсь сделать автоматический конвертор всего, вот в этом пока некоторая задержка на текущий момент.
imported
Работает на Eserv/5.05555 (05.06.2016)