Обращаюсь к специалистам.
Что вы думаете по поводу следующей идеи:
http://sphere.habrahabr.ru/blog/28353.htmlНасколько это жизнеспособно/реализуемо, в т.ч. в рамках eserv?
Текст по ссылке:
С проблемой почтового спама все знакомы.
Из предлагаемых решений выделяются спамфильтры (неудовлетворительная эффективность) и введение оплаты за письма (непроверенный способ, сложность реализации).
Однако я, почему-то, не встречал предложений использовать уже проверенное — идентификацию по каптче. Ведь это достаточно просто и в плане реализации, и по сути: отправка письма происходит не мгновенно — сервер и клиент обмениваются сообщениями; между запросом на отправку и отправкой непосредственно отправитель получает от сервера хорошую каптчу, вводит короткий (по сравнению с письмом, что он только что написал) код и вуаля — сервер имеет железобетонное подтверждение.
Затруднение может возникнуть с офлайновыми почтовыми клиентами, но это не большая проблема (например, отправить письмо на защищённый каптчей сервер всегда можно будет через веб-сервис), и уж точно не проблема по сравнению с организацией, например, платной почты.
Продолжая сравнение, плюсы:
- почта остаётся бесплатной;
- проверенный способ, близкая к 100% защита от спама;
- рассылки с компьютеров-зомби также пресекаются;
- исключение недоставленных из-за ошибок фильтров писем;
- простота реализации (через расширяемые протоколы).
- необходимость дополнения офлайновых почтовых клиентов, в т.ч. терминалов;
- идентификацию придётся проводить с каждым письмом, нельзя будет единожды связать получателя и отправителя из-за размытости последнего;
- повышенная нагрузка на почтовые сервера (это если не сравнивать с нагрузкой от спама).
- При отправке почты из почтового клиента на SMTP-сервер клиент тоже как правило авторизован — либо по паролю, либо по IP (отправка через свого провайдера), иначе сервер письмо не примет. Т.е. там каптчи не нужны.
Способами 1 и 2 для рассылки спама пользуются только чайники.А вот при пересылке почты (и спама
Эффективность фильтрации 99.9% вас не устраивает?
Это если идентифицировать пользователя в порядке протокола.
Можно иначе — у конечного сервера-получателя всегда есть обратный адрес, куда спросить. Лишняя пересылка, да. Хотя, если применять такой метод в паре с максимально озлобленными спам-фильтром и запрашивать подтверждение только на подозрительные письма, будет легче.
(Спасибо за хороший вопрос. На хабре отписал.)
Меня не устраивает то, что я таки получаю несколько писем в день и спамеры таки ухитряются заставить меня мельком оглядеть тело письма.
При том, что я аккуратный пользователь.
Вопрос отправителю можно задать без пересылки почты по адресу отправителя, т.е. без "лишней пересылки" и проблем с поддельными адресами: если в ответ на команду DATA в SMTP протоколе выдать код ошибки 5xx, то сам отправляющий MTA вернет письмо отправителю вместе с тем текстом ошибки, который в ответе 5хх. Eserv (и только он!) использует это для борьбы с возможными ложными срабатываниями антиспамов, помещая в этом ответе "URL проталкивания" (см. "проталкивание отправителем" в описаниях антиспамов на www.eserv.ru). Вот там каптчу воткнуть можно (если роботы спамеров научатся посещать выдаваемые Eserv'ом URL'ы и жать там на кнопки), но пока не умеют, и усложнять принцип работы не к чему.
Аккуратный пользователь чего?
Обучением байеса можно добиться показателя меньше 1 спам-письма в день в среднем. И это 1 письмо будет нетипичным, т.е. содержать ранее не встречавшийся рекламный призыв. В каком-то смысле посмотреть на такие необычные письма даже интересно
...
Несколько MTA всё же не помеха?
Про 4хх и 5хх я и думал изначально, говоря об этапе обмена сообщениями. Способ с каптчей, получается, схож с "проталкиванием", только вместо ссылки на проталкивание изначальный отправитель получает ссылку на каптчу (или саму каптчу, если размер позволит).
Если ваши ссылки не приходят невинным людям, то и каптчи не придут. Иначе откуда такая избирательность?
Исходя из вышесказанного, не вижу предмета спора. То, что пользователь для подтверждения получит не проталкивающую ссылку, а каптчу, только усилит защиту (не понимаю, что мешает спамерам "кликать" на ваши ссылки). Но если на данный момент ссылки достаточно — ничего против тоже не имею.
Почты. Т.е., не свечу ящики где попало почём зря.
Почему-то, например, внутренней защиты mail.ru и т.п. это не касается. В чём может быть причина?
Разница очень большая. Чтобы в таком (вашем) режиме высылать капчи, сервер должен отвергать ВСЮ почту — только тогда отправителям будут возвращены ссылки на страницы.
А в нашем случае отвергается ТОЛЬКО спам. Ложных срабатываний из них — 1 на 100000. И только этому несчастному придется нажать ссылку. А всем остальным отправителям (не спамерам) ничего не возвращается, и капчами они не мучаются, т.к. сервер и так видит, что это не спам.
В mail.ru
Я вроде уже дал понять, что система должна использоваться совместно со спам-фильтрами (максимально озлобленными). Посмотрите внимательней выше.
Но каптча — практически всегда перебор. Вот на этом форуме мы несколько месяцев назад полностью избавились от [автоматического] phpbb-спама безо всяких каптч. Способ убийственно примитивен, но даже его веб-спам-роботы обходить пока не научились. Так что у нас времени вагон, может быть даже вечность, и нет нужды усложнять жизнь пользователям разгадыванием капч. Лично меня они всегда раздражают — потому что часто не угадываю с первого раза
До этого способа я на каком-то из наших phpbb-форумов прикрутил captcha-plugin на процесс регистрации новых пользователей, но спам это не уменьшило, значит со стандартным plugin'ом научились справляться. А вот с простейшим самодельным — не справляются.
Если боты пока не проталкивают ваши почтовые ссылки, значит необходимости нет. Видимо, спамеры и так чувствуют себя вольготно, в т.ч. благодаря Вашим конкурентам.
Но как только, к примеру, все возмутся за ум и Ваш отлуп окажется последней преградой к пользователю — сомневаюсь, что "кликнуть" ботом ссылку будет проблемой.
В этом ракурсе каптча намного эффективнее.
Естественнно, "крепкая" (Гугловскую, например, народ очень хвалит).
Да я особо и не претендую
Рад за отечественных разработчиков.
У нас не капча (средство отличения людей от роботов). Здесь проще — тест интеллекта спамерского робота. Чтобы пройти тест он должен быть браузером, ходящим по страницам в той последовательности, в которой ходят люди. А не тупо посылать регистрационные данные на единый для всех phpbb url регистрации и url отправки поста.
Кстати, интересно, а ради каких отдельных сайтов (в рунете) спамеры будут париться (или уже парились раньше
Иногда спец-заточки не требуют даже эксплойты уязвимостей веб-приложений, настолько они тоже бывают типовыми-"распознавабельными". Так ломали один размещенный у нас сайт партнеров, ради которого тоже не стали бы индивидуальный скрипт делать. Просто видимо очень уж типовая ошибка была в их самодельном php-скрипте.
Из-за того, что они не ходят по нашим ссылкам, у них только на нашем сервере остаются недоставленными миллионы спам-писем. А если помножить на несколько тысяч установленных Eserv'ов, в большинстве из которых пользователей больше чем у нас... На самом деле спамерам просто по барабану, что их письма не доставляются, ведь их заказчики не могут это проверить. Именно "благодаря нашим конкурентам", которые, в большинстве своем, даже если считают письмо спамом, ничем не намекают отправителю об этом. Т.е. он не знает, что его письмо не доставлено получателю. Это большой грех — нарушение связности сети — это даже хуже чем спам. Но и спамеры в результате этого знают, что не могут повлиять на судьбу таких писем, и не создают средств контроля и проталкивания. И, повторюсь, им это и не надо. Если бы они заботились об эффективности своих рассылок, они хотя бы вычищали из своих баз несуществуюшие адреса (те, на которые получали ранее 5xx в ответ на RCPT), но они не делают даже этой простейшей вещи. Им платят за объем рассылки, а не за реально доставленные письма.
Если они возьмутся за ум, то и мы возьмемся
Тем более, что мне почему-то кажется, что спамеры за ум не возьмутся. Когда спамер берется за ум, то он прекращает свой вандализм и начинает какое-то более серьезное дело, соответственно уже перестает быть спамером. Примеры есть. С крекерами ("хакерами") тоже случаются такие метаморфозы с возрастом.
А где у гугла капча?
Против к каптч с картинками веб-спамеры уже давно изобрели эффективный метод: они эти картинки со страниц регистраций разных форумов и т.д. показывают на своих собственных сайтах (варезных, порно, и т.п.) для доступа якобы к закрытым разделам. Посетители этих сайтов (живые люди, умеющие читать цифры с картинок) вводят эти номера в надежде на варез, короткие ICQ номера и т.п. "ценности", не догадываясь, что являются "естественным интеллектом" для спамерских ботов: эти введенные людьми правильные номера отправляются ботами на те исходные страницы регистраций, защищенные каптчами.
Почтовые сервисы, любые крупные форумы и т.п.
(Типа
Универсальные алгоритмы постинга возможны, в конце концов, атрибуты форм не закрыты и имея библиотеку стандартных имён можно распознать, какой за что отвечает. А дальше — дело техники.
Но это не совсем по теме. Например, об универсальных алгоритмах распознавания каптчи, я не слышал.
"Сломать" некоторые сайты можно вообще из адресной строки браузера
Мой бывший работодатель заказывал спам.
До сих пор помню возгласы разной степени радости — в зависимости от количества полученных им же писем. Т.е. контроль есть.
Gmail.
Сомневаюсь, что он когда-либо будет настолько массовым, чтобы покрывать спамерские нужды. Скорее всего, процент такого "взлома" крайне мал. Кстати, ничто не мешает владельцам писать на каптче предупреждения.
Ничего возразить не могу
Yahoo и Hotmail не в рунете.
Кстати, да, по ссылке хороший пост про слабость капчи
Этот алгоритм называется "спроси у человека". Как спрашивают — я уже писал выше.
Он вполне может быть массовым: каждый "естественный интеллект", желающий получить короткий ICQ-номер, может паспознать для спамера с десяток каптч, пока не сообразит, что его дурят.
Со стороны заказчика, ясное дело, видны какие-то результаты. Но это не контроль. Он знает, что, заказав рассылку на миллион адресов получит 100 покупок или что он там хотел, но он не знает, что это не 100 из миллиона, а 100 из 50 тысяч (реально доставленных).
Я думаю, что это массовый способ, т.к. я сам о нем узнал от "пострадавшего" пользователя — как раз описанный случай с ICQ. Он думал, что это проблема в нашем прокси не дает ему получить заветный номер
И потом, спамерам и не нужно особо много адресов или логинов. Их же не сразу "гасят", а только по факту спама, т.е. когда уже отспамились по полной
Я бы сказал, что наоборот. Yahoo и Hotmail живут давно, а новость недавняя. И уж точно, каптча не слабее прокликиваемой ссылки
Контроль будет если он, заказав рассылку, получит заказов близко к нулю.
Да я не спорю — ломается всё.
Вопрос в эффективности и трудозатратах.
Если тупо прокликнуть ссылку может даже бот, то для эффективного обхода каптчи теми же человеками нужны усилия и сами люди.
Это новость про то, как сломали очередную версию их капчей. Или просто еще один червь, ломающий их капчи. Yahoo и Hotmail сломаны всю жизнь. Сколько существует спам, столько эти домены самые популярные у спамеров. Поэтому некоторые админы просто заносят в блэклисты *@hotmail.com.
Это будет отказ от будущих заказов, не более того. Контроля быть не может, потому что большинство систем просто молча глотают спам — и спамер не знает, что его письмо не будет доставлено. О зачатках контроля поговорим тогда, когда прекратятся попытки спама на несуществующие адреса. Но, еще раз повторюсь, спамерам это ни к чему. У них вычислительные ресурсы не ограничены — проспамить на миллион несуществующих адресов не проблема — куда проще, чем заниматься сопровождением баз. Тем более что, если базу реально почистить, то в рекламе спамерских услуг придется писать не "рассылка на миллион адресов", а "рассылка на 100 тысяч реально существующих адресов". Конкурирующий спамер скажет (соврет) "а у меня весь миллион проверен", и клиент уйдет к нему. Если уж в легальной рекламе лжи хватает, то что уж говорить о криминальном бизнесе спамеров.
А если заказов нет — может это клиент разработал плохую рекламу, или товар у него плохой — отмазка при необходимости найдется.
В том-то и фокус. Тупо прокликнуть может, но НЕ КЛИКАЕТ (ни в почте, ни при регистрации на форуме). Капчу сломать труднее (организационно), НО ЛОМАЮТ
Вывод простой: в каждой системе должна быть своя локальная изюминка (свой байес, а не централизованно качаемая антиспам-база; свои модификации в процесс регистрации и т.д.). На месте Яхи и Хотмэйла я бы не с капчами извращался годами, а сделал бы полиморфную форму регистрации, непредсказуемо меняемую в каждый момент. Когда боты начнут прокликивать наши ссылки, я покажу как
Из рассылки Спамтест: