Регистрация...

Eserv Forum / E4 / Mail / Автоматическое удаление устаревших сообщений и пользователей

wikipost // (v1)
Продукты и услуги Скачать Документация Купить Поддержка Форумы Партнёрам Статьи О компании
Поставлены следующие задачи:
  1. Автоматически удалять сообщения, срок хранения которых превышает 3 месяца.
  2. Автоматически удалять неактивных пользователей, которые неактивны 1 год.
  3. Есть ли возможность силами Eserv реализовать данные задачи? Если нет, прошу поделиться опытам альтернативных методов реализации поставленных задач.
 
Комментарии к этой версии (16.08.2010 03:54) [~dima-irk38] 4a98a459
АвторДатаТекстtags
ac16.08.2010 11:24
Способ можно предпожить тот же, что и в E3http://www.eserv.ru/Epurger

Хотя по умолчанию предполагается, что если уж бесплатные провайдеры почты (gmail и пр.) могут предложить своим пользователям неограниченное почтовое хранилище, то корпоративная почта должна быть безлимитной. Возможности дисковой подсистемы растут намного быстрее, чем почтовые нужды пользователей. Если, конечно, они не пересылают друг другу video аттачами
wikipost
dandy16.08.2010 16:43
ред: 16.08.2010 16:44
ac пишет: Способ можно предпожить тот же, что и в E3http://www.eserv.ru/Epurger


этим методом будут удаляться только файлы данных, индексы в почтовых ящиках epurger НЕ удаляет. Места, конечно, такие "висяки" занимают не много, но в конечном итоге (накапливаясь) будут иметь негативное влияние на производительность IMAP сервера
wikipost
dima-irk3818.08.2010 09:07
dandy" этим методом будут удаляться только файлы данных, индексы в почтовых ящиках epurger НЕ удаляет. Места, конечно, такие "висяки" занимают не много, но в конечном итоге (накапливаясь) будут иметь негативное влияние на производительность IMAP сервер пишет:

Есть ли возможность удалять устаревшие индексы?
wikipost
ac18.08.2010 15:04
"Устаревшие индексы" удаляет сам пользователь, когда удаляет письма. Если не удаляет, то наверное они ему нужны, т.е. они не устаревшие Впрочем, даже если удаляет, то размер индекса не уменьшается, удаленные элементы добавляются в список свободных — для будущего использования...

В общем, называя вещи своими именами, речь идёт о квотах для почтовых папок, так? Текущая версия acIMAP их поддерживает (RFC2087). Квотируется не "возраст" писем, а размер папки либо к-во писем в папке. Квот на возраст в указанном RFC нет.

Не хватает интерфейса для управления этими квотами. Будет ли удобно, если эти почтовые квоты добавить в раздел "Тарифные планы" — туда же, где задаются лимиты на трафик?
wikipost
dandy18.08.2010 15:19
Я так понимаю, что речь идет о вопросе, смежном тому, что я поднимал еще на заре Е4, а именно, как "правильно" (качественно) очищать старые письма (в моем случае это были каталоги spam — глобальный и пользовательские). Сами "тела" сообщения замечательно очищаются Epurger-ом, а вот индексы продолжают висеть мертвым грузом, и накапливаясь (например до значение 500 000 — 1 000 000 записей) — реальные цифры из индекса spam одного из пользователей, просто подвешивают почтовый клиент, когда пользователь пытается открыть свою папку spam на предмет поиска "недошедшего" до него письма

Насколько я вижу сейчас полноценного инструмента для очистки и фалов писем, и индексов в Е4 пока нет. Или я отстал от жизни?!
wikipost
ac18.08.2010 17:02
Отстали от жизни вы тогда, когда разрешили такому объему спама (миллион!?) дойти до пользовательского ящика. Это бессмысленно, т.к. просматривать эту папку с таким трафиком пользователь не сможет, даже если удалять сообщения старее одного дня. Установка квот поможет ограничить размер до разумных пределов (разумный предел: если внимательно листать спам весь день, то можно успеть прочесть порядка 6000 заголовков), но у вас в эту папку очевидно в день попадает больше, т.е. какая-то часть почты будет удаляться оттуда ДО того как пользователь туда заглянет в поиске false positives и до того как отправитель успеет их протолкнуть. Начать борьбу со спамом стоит не с квот, а с RBL, наверное.
wikipost
dandy19.08.2010 11:32
Андрей, на самом деле вопрос не в том, как пользователю в ящик spam попадают сообщения и в каком количестве, а в том, что функционала очистки индексных файлов (от старых записей, что актуально для spam-a), в Е4 на текущий момент просто нет!

Даже исходя из расчета 500 спам писем в день, в год это выльется в 182500 записей в индексном файле (хотя "живого" спама — файлов данных будет всего 14 *500 = 7 000 писем — спам за две недели), и не дай бог пользователю открыть каталог spam, через IMAP клиент без кэша старых обращений). У любого IMAp клиента обработка, только списка этих почти 200 тысяч сообщений займет ооочень приличное время.

А так конечно, можно и RBL-ом обойтись...

P.S. ИМХО: в концепции E4 (концепции хранения корреспонденции) использование Epurger-а для очистки данных, должно быть синхронизирована с очисткой индексных файлов, иначе появление тормозов в почтовой подсистеме только вопрос времени
wikipost
ac19.08.2010 13:57
dandy пишет: функционала очистки индексных файлов (от старых записей, что актуально для spam-a), в Е4 на текущий момент просто нет!

Поддержка квот в IMAP как раз по вашей настойчивой просьбе и была добавлена. Это и есть средство удержания размера индекса в разумных пределах — при добавлении сообщения сверх квоты (по к-ву или суммарному размеру всех сообщений) новое сообщение либо отвергается, либо выталкивает из индекса всё старое, чтобы с добавленным сообщением остаться в рамках квоты.

dandy пишет: У любого IMAp клиента обработка, только списка этих почти 200 тысяч сообщений займет ооочень приличное время. [...] появление тормозов в почтовой подсистеме только вопрос времени

Возможно со временем IMAP-клиенты ускорятся также, как ускорился Eserv при переходе с 3й на 4ю версию Или пользователи окончательно уйдут в webmail (собственный webmail E4 не зависит от IMAP и намного быстрее всех совместимых с Eserv'ом webmail'ов, да и с IMAP-клиентами поспорит).

Да, тут еще одна простая идея только что пришла в голову: при выдаче списка клиенту acIMAP ведь может проверять, на месте ли еще тот файл, что указан в индексе — и не выдавать его заголовки, если он потерялся (удален пуржером, к примеру).
wikipost
shajtan27.08.2010 16:34
Хорошо, квоты у нас есть. А как ими управлять-то? И на что именно я могу задать квоту: на обьём конкретного ящика, либо на все?
wikipost
ac01.09.2010 15:42
В этом основной вопрос и состоит, я выше 18.08 в 16:04 задавал его — как лучше сделать управление квотами. Сначала хотел этот параметр в тарифные планы вставить. Но тип ограничений здесь совсем иной — не по трафику, а по локальному хранилищу, поэтому не уверен, уместно ли объединение. (?) Или более глобально — прямо в настройке ролей это сделать.

Технически квота проверяется при каждом добавлении сообщения в ящик, а параметры этого ограничения мы можем брать откуда угодно.

Наверное удобно будет делать отдельные ограничения на inbox, spam и "всё остальное" (архив).
wikipost
shajtan02.09.2010 13:53
Как мне кажется, разумным было-бы дать квоту на проект и на пользователя — тут как раз можно использовать роли. Приоритетной должна быть пользовательская квота. Конечно, можно ещё назначать на группы в проектах — но не думаю, что это будет особо актуально.
wikipost
ili_a08.09.2010 16:58
А при получении почты по pop3 файлы писем удаляются? Если нет, то как я могу отличить файлы пользователей от файлов встроенной wikki? Если запускать Epurger, то и сообщения портала потрутся, а вот они по определению должны быть "вечными до особых указаний"
wikipost
ac09.09.2010 07:31
Сообщения wiki и форумов дублируются прямо в индексах (.messages.db3), так что точно не потрёте. К тому же их "оригиналы" (сообщения в отдельных файлах) лежат в отдельном каталоге http-post, так что и не спутаете, если чистите только spam и arc4.
wikipost
Работает на Eserv/5.05567 (10.02.2020)