Регистрация...

Eserv Forum / Talks / Any / Каптча для почты

imported // (v1)
Продукты и услуги Скачать Документация Купить Поддержка Форумы Партнёрам Статьи О компании
Новости
01.10.2009
PhpBB скоро выключим
Здравствуйте.
Обращаюсь к специалистам.

Что вы думаете по поводу следующей идеи: http://sphere.habrahabr.ru/blog/28353.html
Насколько это жизнеспособно/реализуемо, в т.ч. в рамках eserv?

Текст по ссылке:
С проблемой почтового спама все знакомы.
Из предлагаемых решений выделяются спамфильтры (неудовлетворительная эффективность) и введение оплаты за письма (непроверенный способ, сложность реализации).

Однако я, почему-то, не встречал предложений использовать уже проверенное — идентификацию по каптче. Ведь это достаточно просто и в плане реализации, и по сути: отправка письма происходит не мгновенно — сервер и клиент обмениваются сообщениями; между запросом на отправку и отправкой непосредственно отправитель получает от сервера хорошую каптчу, вводит короткий (по сравнению с письмом, что он только что написал) код и вуаля — сервер имеет железобетонное подтверждение.

Затруднение может возникнуть с офлайновыми почтовыми клиентами, но это не большая проблема (например, отправить письмо на защищённый каптчей сервер всегда можно будет через веб-сервис), и уж точно не проблема по сравнению с организацией, например, платной почты.

Продолжая сравнение, плюсы:
  • почта остаётся бесплатной;
  • проверенный способ, близкая к 100% защита от спама;
  • рассылки с компьютеров-зомби также пресекаются;
  • исключение недоставленных из-за ошибок фильтров писем;
  • простота реализации (через расширяемые протоколы).
Минусы:
  • необходимость дополнения офлайновых почтовых клиентов, в т.ч. терминалов;
  • идентификацию придётся проводить с каждым письмом, нельзя будет единожды связать получателя и отправителя из-за размытости последнего;
  • повышенная нагрузка на почтовые сервера (это если не сравнивать с нагрузкой от спама).
 
Комментарии к этой версии (25.10.2007 16:51) [~sphere] 0da7743c
АвторДатаТекстtags
ac25.10.2007 17:26
Либо это старая абсолютно непригодная идея, либо я чего-то не понимаю

  1. Ну, положим, при отправке письма через веб-интерфейс показать пользователю капчу можно (но у веб-почты нет в этом нужды, т.к. пользователь авторизован).
  1. При отправке почты из почтового клиента на SMTP-сервер клиент тоже как правило авторизован — либо по паролю, либо по IP (отправка через свого провайдера), иначе сервер письмо не примет. Т.е. там каптчи не нужны.
Способами 1 и 2 для рассылки спама пользуются только чайники.

А вот при пересылке почты (и спама между MTA: отправителем письма — хоть спама, хоть не спама — является робот (белый и пушистый MTA, например, Eserv) или спам-бот, который изо всех сил прикидывается нормальным MTA, чтобы принимающий сервер ничего не заподозрил. Кому тут каптчу показывать, скажите пожалуйста? Людей там нет, это и без каптчи понятно
imported
ac25.10.2007 17:30
sphere пишет: Из предлагаемых решений выделяются спамфильтры (неудовлетворительная эффективность)

Эффективность фильтрации 99.9% вас не устраивает?
imported
sphere25.10.2007 19:16
Кому тут каптчу показывать, скажите пожалуйста? Людей там нет, это и без каптчи понятно

Это если идентифицировать пользователя в порядке протокола.
Можно иначе — у конечного сервера-получателя всегда есть обратный адрес, куда спросить. Лишняя пересылка, да. Хотя, если применять такой метод в паре с максимально озлобленными спам-фильтром и запрашивать подтверждение только на подозрительные письма, будет легче.
(Спасибо за хороший вопрос. На хабре отписал.)

Эффективность фильтрации 99.9% вас не устраивает?

Меня не устраивает то, что я таки получаю несколько писем в день и спамеры таки ухитряются заставить меня мельком оглядеть тело письма.
При том, что я аккуратный пользователь.
imported
ac25.10.2007 23:56
У спама обратные адреса обычно поддельные, поэтому обратные письма с вашими капчами попадут невинным людям.

Вопрос отправителю можно задать без пересылки почты по адресу отправителя, т.е. без "лишней пересылки" и проблем с поддельными адресами: если в ответ на команду DATA в SMTP протоколе выдать код ошибки 5xx, то сам отправляющий MTA вернет письмо отправителю вместе с тем текстом ошибки, который в ответе 5хх. Eserv (и только он!) использует это для борьбы с возможными ложными срабатываниями антиспамов, помещая в этом ответе "URL проталкивания" (см. "проталкивание отправителем" в описаниях антиспамов на www.eserv.ru). Вот там каптчу воткнуть можно (если роботы спамеров научатся посещать выдаваемые Eserv'ом URL'ы и жать там на кнопки), но пока не умеют, и усложнять принцип работы не к чему.

Меня не устраивает то, что я таки получаю несколько писем в день и спамеры таки ухитряются заставить меня мельком оглядеть тело письма. При том, что я аккуратный пользователь.

Аккуратный пользователь чего?

Обучением байеса можно добиться показателя меньше 1 спам-письма в день в среднем. И это 1 письмо будет нетипичным, т.е. содержать ранее не встречавшийся рекламный призыв. В каком-то смысле посмотреть на такие необычные письма даже интересно И дообучить антиспам одним движением мыши.
imported
sphere26.10.2007 11:26
ac пишет: Кому тут каптчу показывать, скажите пожалуйста? Людей там нет, это и без каптчи понятно

...
ac пишет: ...если в ответ на команду DATA в SMTP протоколе выдать код ошибки 5xx, то сам отправляющий MTA вернет письмо отправителю вместе с тем текстом ошибки, который в ответе 5хх.

Несколько MTA всё же не помеха?
Про 4хх и 5хх я и думал изначально, говоря об этапе обмена сообщениями. Способ с каптчей, получается, схож с "проталкиванием", только вместо ссылки на проталкивание изначальный отправитель получает ссылку на каптчу (или саму каптчу, если размер позволит).
ac пишет: У спама обратные адреса обычно поддельные, поэтому обратные письма с вашими капчами попадут невинным людям.

Если ваши ссылки не приходят невинным людям, то и каптчи не придут. Иначе откуда такая избирательность?

Исходя из вышесказанного, не вижу предмета спора. То, что пользователь для подтверждения получит не проталкивающую ссылку, а каптчу, только усилит защиту (не понимаю, что мешает спамерам "кликать" на ваши ссылки). Но если на данный момент ссылки достаточно — ничего против тоже не имею.

Аккуратный пользователь чего?

Почты. Т.е., не свечу ящики где попало почём зря.

Обучением байеса можно добиться показателя меньше 1 спам-письма в день в среднем.

Почему-то, например, внутренней защиты mail.ru и т.п. это не касается. В чём может быть причина?
imported
ac26.10.2007 11:59
sphere пишет: Исходя из вышесказанного, не вижу предмета спора. То, что пользователь для подтверждения получит не проталкивающую ссылку, а каптчу, только усилит защиту (не понимаю, что мешает спамерам "кликать" на ваши ссылки). Но если на данный момент ссылки достаточно — ничего против тоже не имею

Разница очень большая. Чтобы в таком (вашем) режиме высылать капчи, сервер должен отвергать ВСЮ почту — только тогда отправителям будут возвращены ссылки на страницы.

А в нашем случае отвергается ТОЛЬКО спам. Ложных срабатываний из них — 1 на 100000. И только этому несчастному придется нажать ссылку. А всем остальным отправителям (не спамерам) ничего не возвращается, и капчами они не мучаются, т.к. сервер и так видит, что это не спам.
imported
ac26.10.2007 12:28
sphere пишет:
Обучением байеса можно добиться показателя меньше 1 спам-письма в день в среднем.

Почему-то, например, внутренней защиты mail.ru и т.п. это не касается. В чём может быть причина?

В mail.ru Там не байес, а эвристический фильтр SpamTest, настраиваемый вручную "ночными лингвистами". Поэтому подогнать его под себя не получится. Разве что подкупить лингвистов Берите Eserv и живите счастливо.
imported
sphere26.10.2007 15:40
ac пишет: Разница очень большая. Чтобы в таком (вашем) режиме высылать капчи, сервер должен отвергать ВСЮ почту — только тогда отправителям будут возвращены ссылки на страницы.


Я вроде уже дал понять, что система должна использоваться совместно со спам-фильтрами (максимально озлобленными). Посмотрите внимательней выше.
imported
ac26.10.2007 15:48
Ну если так, то ОК. Но тогда это не новый метод. Мы его используем уже почти 5 лет Только без каптчи — она не нужна, т.к. спам-боты по ссылкам проталкивания не ходят.
imported
rvm26.10.2007 18:59
А если вдруг спам-боты начнут ходить по ссылкам и выполнять скрипты, то каптчу на странице проталкивания и повесить — и в этом ничего нового.
imported
ac26.10.2007 19:14
Да, я писал выше:
ac пишет: Вот там каптчу воткнуть можно (если роботы спамеров научатся посещать выдаваемые Eserv'ом URL'ы и жать там на кнопки)


Но каптча — практически всегда перебор. Вот на этом форуме мы несколько месяцев назад полностью избавились от [автоматического] phpbb-спама безо всяких каптч. Способ убийственно примитивен, но даже его веб-спам-роботы обходить пока не научились. Так что у нас времени вагон, может быть даже вечность, и нет нужды усложнять жизнь пользователям разгадыванием капч. Лично меня они всегда раздражают — потому что часто не угадываю с первого раза , и вообще неудобно эти цифры вводить на сайтах. Словно я не сообщения пишу, а делаю покупки по кредитке по 100 раз в день.

До этого способа я на каком-то из наших phpbb-форумов прикрутил captcha-plugin на процесс регистрации новых пользователей, но спам это не уменьшило, значит со стандартным plugin'ом научились справляться. А вот с простейшим самодельным — не справляются.
imported
sphere27.10.2007 16:40
Если ресурс значимый, спамеры разрабатывают индивидуальные решения. А если овчинка выделки не стоит (не в обиду Вам и Вашим ресурсам) — никто париться не будет. В этом причина того, что простые самописные каптчи не ломают только на основании того, что они есть.

Если боты пока не проталкивают ваши почтовые ссылки, значит необходимости нет. Видимо, спамеры и так чувствуют себя вольготно, в т.ч. благодаря Вашим конкурентам.

Но как только, к примеру, все возмутся за ум и Ваш отлуп окажется последней преградой к пользователю — сомневаюсь, что "кликнуть" ботом ссылку будет проблемой.

В этом ракурсе каптча намного эффективнее.
Естественнно, "крепкая" (Гугловскую, например, народ очень хвалит).

Ну если так, то ОК. Но тогда это не новый метод.

Да я особо и не претендую
Рад за отечественных разработчиков.
imported
ac28.10.2007 00:41
sphere пишет: Если ресурс значимый, спамеры разрабатывают индивидуальные решения. А если овчинка выделки не стоит (не в обиду Вам и Вашим ресурсам) — никто париться не будет. В этом причина того, что простые самописные каптчи не ломают только на основании того, что они есть.

У нас не капча (средство отличения людей от роботов). Здесь проще — тест интеллекта спамерского робота. Чтобы пройти тест он должен быть браузером, ходящим по страницам в той последовательности, в которой ходят люди. А не тупо посылать регистрационные данные на единый для всех phpbb url регистрации и url отправки поста.

Кстати, интересно, а ради каких отдельных сайтов (в рунете) спамеры будут париться (или уже парились раньше ? На самом деле они вообще не парятся. Есть определенные универсальные алгоритмы распознования страниц регистрации и страниц постинга контента, они работают даже "против" уникальных сайтов, имеющихся в единственном числе. Так в 2000м году я написал первый в рунете автоматический аггрегатор новостей (newshub.ru, сейчас это другой сайт, а обломки исходного остались на newshub.eserv.ru), он явно не был сайтом, ради которого спамеры стали бы специально затачивать своих ботов — но когда пришла пора веб-спама, стали спамить и на нем, хотя все формы и скрипты на сайте были абсолютно уникальные, т.к. полностью самодельные.

Иногда спец-заточки не требуют даже эксплойты уязвимостей веб-приложений, настолько они тоже бывают типовыми-"распознавабельными". Так ломали один размещенный у нас сайт партнеров, ради которого тоже не стали бы индивидуальный скрипт делать. Просто видимо очень уж типовая ошибка была в их самодельном php-скрипте.

sphere пишет: Если боты пока не проталкивают ваши почтовые ссылки, значит необходимости нет. Видимо, спамеры и так чувствуют себя вольготно, в т.ч. благодаря Вашим конкурентам.

Из-за того, что они не ходят по нашим ссылкам, у них только на нашем сервере остаются недоставленными миллионы спам-писем. А если помножить на несколько тысяч установленных Eserv'ов, в большинстве из которых пользователей больше чем у нас... На самом деле спамерам просто по барабану, что их письма не доставляются, ведь их заказчики не могут это проверить. Именно "благодаря нашим конкурентам", которые, в большинстве своем, даже если считают письмо спамом, ничем не намекают отправителю об этом. Т.е. он не знает, что его письмо не доставлено получателю. Это большой грех — нарушение связности сети — это даже хуже чем спам. Но и спамеры в результате этого знают, что не могут повлиять на судьбу таких писем, и не создают средств контроля и проталкивания. И, повторюсь, им это и не надо. Если бы они заботились об эффективности своих рассылок, они хотя бы вычищали из своих баз несуществуюшие адреса (те, на которые получали ранее 5xx в ответ на RCPT), но они не делают даже этой простейшей вещи. Им платят за объем рассылки, а не за реально доставленные письма.

sphere пишет: Но как только, к примеру, все возмутся за ум и Ваш отлуп окажется последней преградой к пользователю — сомневаюсь, что "кликнуть" ботом ссылку будет проблемой.

Если они возьмутся за ум, то и мы возьмемся А раньше времени "париться" не будем. Веб-спам отбивать на два порядка проще, чем почтовый спам. Если уж с почтовым справились, то тут даже заранее неинтересно.

Тем более, что мне почему-то кажется, что спамеры за ум не возьмутся. Когда спамер берется за ум, то он прекращает свой вандализм и начинает какое-то более серьезное дело, соответственно уже перестает быть спамером. Примеры есть. С крекерами ("хакерами") тоже случаются такие метаморфозы с возрастом.

sphere пишет: В этом ракурсе каптча намного эффективнее.
Естественнно, "крепкая" (Гугловскую, например, народ очень хвалит).
А где у гугла капча?

Против к каптч с картинками веб-спамеры уже давно изобрели эффективный метод: они эти картинки со страниц регистраций разных форумов и т.д. показывают на своих собственных сайтах (варезных, порно, и т.п.) для доступа якобы к закрытым разделам. Посетители этих сайтов (живые люди, умеющие читать цифры с картинок) вводят эти номера в надежде на варез, короткие ICQ номера и т.п. "ценности", не догадываясь, что являются "естественным интеллектом" для спамерских ботов: эти введенные людьми правильные номера отправляются ботами на те исходные страницы регистраций, защищенные каптчами.
imported
sphere29.10.2007 14:59
Кстати, интересно, а ради каких отдельных сайтов (в рунете) спамеры будут париться


Почтовые сервисы, любые крупные форумы и т.п.
(Типа http://habrahabr.ru/blog/infosecurity/20273.html)

Есть определенные универсальные алгоритмы распознования страниц регистрации и страниц постинга контента, они работают даже "против" уникальных сайтов


Универсальные алгоритмы постинга возможны, в конце концов, атрибуты форм не закрыты и имея библиотеку стандартных имён можно распознать, какой за что отвечает. А дальше — дело техники.
Но это не совсем по теме. Например, об универсальных алгоритмах распознавания каптчи, я не слышал.

Просто видимо очень уж типовая ошибка была в их самодельном php-скрипте.


"Сломать" некоторые сайты можно вообще из адресной строки браузера

Им платят за объем рассылки, а не за реально доставленные письма


Мой бывший работодатель заказывал спам.
До сих пор помню возгласы разной степени радости — в зависимости от количества полученных им же писем. Т.е. контроль есть.

А где у гугла капча?

Gmail.

Против к каптч с картинками веб-спамеры уже давно изобрели эффективный метод...

Сомневаюсь, что он когда-либо будет настолько массовым, чтобы покрывать спамерские нужды. Скорее всего, процент такого "взлома" крайне мал. Кстати, ничто не мешает владельцам писать на каптче предупреждения.

Если они возьмутся за ум, то и мы возьмемся Smile А раньше времени "париться" не будем.

Ничего возразить не могу
imported
ac30.10.2007 01:01
sphere пишет:
Кстати, интересно, а ради каких отдельных сайтов (в рунете) спамеры будут париться


Почтовые сервисы, любые крупные форумы и т.п.
(Типа http://habrahabr.ru/blog/infosecurity/20273.html)

Yahoo и Hotmail не в рунете.
Кстати, да, по ссылке хороший пост про слабость капчи

sphere пишет: Например, об универсальных алгоритмах распознавания каптчи, я не слышал.

Этот алгоритм называется "спроси у человека". Как спрашивают — я уже писал выше.
Он вполне может быть массовым: каждый "естественный интеллект", желающий получить короткий ICQ-номер, может паспознать для спамера с десяток каптч, пока не сообразит, что его дурят.

sphere пишет: Мой бывший работодатель заказывал спам.
До сих пор помню возгласы разной степени радости — в зависимости от количества полученных им же писем. Т.е. контроль есть.

Со стороны заказчика, ясное дело, видны какие-то результаты. Но это не контроль. Он знает, что, заказав рассылку на миллион адресов получит 100 покупок или что он там хотел, но он не знает, что это не 100 из миллиона, а 100 из 50 тысяч (реально доставленных).

sphere пишет:
Против к каптч с картинками веб-спамеры уже давно изобрели эффективный метод...

Сомневаюсь, что он когда-либо будет настолько массовым, чтобы покрывать спамерские нужды. Скорее всего, процент такого "взлома" крайне мал. Кстати, ничто не мешает владельцам писать на каптче предупреждения.

Я думаю, что это массовый способ, т.к. я сам о нем узнал от "пострадавшего" пользователя — как раз описанный случай с ICQ. Он думал, что это проблема в нашем прокси не дает ему получить заветный номер
И потом, спамерам и не нужно особо много адресов или логинов. Их же не сразу "гасят", а только по факту спама, т.е. когда уже отспамились по полной Там примерно такая же картина, как с ботнетами. Спамерам не нужен миллион подконтрольных машин. Достаточно нескольких тысяч.
imported
sphere30.10.2007 14:33
Кстати, да, по ссылке хороший пост про слабость капчи

Я бы сказал, что наоборот. Yahoo и Hotmail живут давно, а новость недавняя. И уж точно, каптча не слабее прокликиваемой ссылки

Со стороны заказчика, ясное дело, видны какие-то результаты. Но это не контроль. Он знает, что, заказав рассылку на миллион адресов получит 100 покупок или что он там хотел, но он не знает, что это не 100 из миллиона, а 100 из 50 тысяч (реально доставленных).

Контроль будет если он, заказав рассылку, получит заказов близко к нулю.

Я думаю, что это массовый способ

Да я не спорю — ломается всё.
Вопрос в эффективности и трудозатратах.
Если тупо прокликнуть ссылку может даже бот, то для эффективного обхода каптчи теми же человеками нужны усилия и сами люди.
imported
ac30.10.2007 15:20
sphere пишет:
Кстати, да, по ссылке хороший пост про слабость капчи

Я бы сказал, что наоборот. Yahoo и Hotmail живут давно, а новость недавняя. И уж точно, каптча не слабее прокликиваемой ссылки .

Это новость про то, как сломали очередную версию их капчей. Или просто еще один червь, ломающий их капчи. Yahoo и Hotmail сломаны всю жизнь. Сколько существует спам, столько эти домены самые популярные у спамеров. Поэтому некоторые админы просто заносят в блэклисты *@hotmail.com.

sphere пишет: Контроль будет если он, заказав рассылку, получит заказов близко к нулю.

Это будет отказ от будущих заказов, не более того. Контроля быть не может, потому что большинство систем просто молча глотают спам — и спамер не знает, что его письмо не будет доставлено. О зачатках контроля поговорим тогда, когда прекратятся попытки спама на несуществующие адреса. Но, еще раз повторюсь, спамерам это ни к чему. У них вычислительные ресурсы не ограничены — проспамить на миллион несуществующих адресов не проблема — куда проще, чем заниматься сопровождением баз. Тем более что, если базу реально почистить, то в рекламе спамерских услуг придется писать не "рассылка на миллион адресов", а "рассылка на 100 тысяч реально существующих адресов". Конкурирующий спамер скажет (соврет) "а у меня весь миллион проверен", и клиент уйдет к нему. Если уж в легальной рекламе лжи хватает, то что уж говорить о криминальном бизнесе спамеров.

А если заказов нет — может это клиент разработал плохую рекламу, или товар у него плохой — отмазка при необходимости найдется.

sphere пишет: Если тупо прокликнуть ссылку может даже бот, то для эффективного обхода каптчи теми же человеками нужны усилия и сами люди.

В том-то и фокус. Тупо прокликнуть может, но НЕ КЛИКАЕТ (ни в почте, ни при регистрации на форуме). Капчу сломать труднее (организационно), НО ЛОМАЮТ

Вывод простой: в каждой системе должна быть своя локальная изюминка (свой байес, а не централизованно качаемая антиспам-база; свои модификации в процесс регистрации и т.д.). На месте Яхи и Хотмэйла я бы не с капчами извращался годами, а сделал бы полиморфную форму регистрации, непредсказуемо меняемую в каждый момент. Когда боты начнут прокликивать наши ссылки, я покажу как
imported
ac09.11.2007 23:32
Вот очередное подтверждение, что спамеры используют людей для расшифровки капчи:

Из рассылки Спамтест:

02.11.2007

Специалисты Trend Micro обнаружили троянскую программу, которая
предлагает пользователям посмотреть стриптиз в обмен на
расшифровку контрольных изображений (система CAPTCHA),
используемых при регистрации новых аккаунтов в Yahoo! Mail.
imported
Работает на Eserv/5.05555 (05.06.2016)