Регистрация...

Eserv Forum / E3 / Eproxy 3 Support / клиент требует возврата денег

imported // (v1)
Продукты и услуги Скачать Документация Купить Поддержка Форумы Партнёрам Статьи О компании
Новости
12.10.2009
Переезд завершен
Вообщем, тривиальная задача по ограничению доступа в интернет вылилась в небольшую проблему. После перенаправления трафика пользователей (5 человек) через eserv, поток трафика с основного рабочего сайта (ati.su) по сравнению с тем, когда он шел напрямую через шлюз вырос примерно в пять раз. Т.е. раньше потребление с этого сайта было 30-50 Мб в день, а с использованием прокси — до 300. Я не мог в это поверить, пока не настроил браузеры так, чтобы ati.su шел в обход прокси напрямую. И что? Трафик по этому сайту опять упал до 30 Мб в день. Теперь клиент требует возврата денег за выкачанные за две недели пару гигабайт. Я даже не знаю, как ему это объяснить, просто ступор какой-то. Как такое возможно?
 
Комментарии к этой версии (06.10.2008 12:56) [~Alex J] 5b7a079d
АвторДатаТекстtags
Alex J06.10.2008 13:01
ну еще. Я очень долго думал, что потребление выросло просто потому, что все остальные сайты стали недоступны. Но после того, как ati.su был пущен в обход, остальные сайты остались закрытыми, потребление все равно упало.
imported
ac06.10.2008 15:04
А какой программой смотрите потребление? Вот в ней и посмотреть какой url клиенты "передергивают".
imported
Alex J07.10.2008 09:40
по статистике провайдера. Сырой трафик по IP.
imported
pig07.10.2008 10:27
А откуда тогда берётся "поток трафика с основного рабочего сайта (ati.su)"? Как они в сыром трафике определяют, что именно оттуда? По обратному IP?
А по статистике самого Eproxy — сколько через него трафика прошло? Вообще и с ati.su.

Какие настройки кэширования в браузерах? Включён ли кэш в Eproxy?

P.S. На главной странице там что-то пытается рефрешиться.
imported
Alex J07.10.2008 10:46
Вся статистика идет по сырому трафику (клиент сам смотрит ее у провайдера). Он оперирует именно IP адресом (80.93.53.33). На вопрос "Что это за адрес?" я без задней мысли ответил "ati.su" (понятно, конечно, что в маске *ati.su* ip могут быть и другие, но речь идет только про этот, все ip в сырой статистике не перещупать, а аномалия была только здесь)
А по статистике самого Eproxy — сколько через него трафика прошло? Вообще и с ati.su.
как посмотреть статистику без дополнительных модулей?
Какие настройки кэширования в браузерах? Включён ли кэш в Eproxy?
все по умолчанию, IE. Какой именно флаг?
imported
pig07.10.2008 13:16
Alex J пишет: как посмотреть статистику без дополнительных модулей?

Через web-интерфейс можно по крайней мере сырую (относительно) статистику по протоколам посмотреть.

Alex J пишет: Какой именно флаг?

Плагин http-proxy\cache — активен?
imported
Alex J07.10.2008 13:27
pig пишет: Плагин http-proxy\cache — активен?
да
Через web-интерфейс можно по крайней мере сырую (относительно) статистику по протоколам посмотреть.

http://localhost:3140/reports/stat/ProtoTraffic.html?form=1 — если речь идет об этом, то там ошибка "07001 [Microsoft][ODBC Text Driver] Too few parameters. Expected 7. "
imported
pig07.10.2008 16:43
У вас, наверное, версия Exerv не последняя.
http://www.lankgroup.ru/files/eproxy/schema.zip — распакуйте в DATA\log\stat, отчёт должен заработать.
imported
Alex J08.10.2008 06:46
1 если кликнуть по "245464", выдает таймаут или "S1000 [Microsoft][ODBC Text Driver] The Microsoft Jet database engine cannot open the file '(unknown)'. It is already opened exclusively by another user, or you need permission to view its data." Так или иначе, как я визуально проанализирую столько строк
imported
pig08.10.2008 10:07
Да, действительно, два гигабайта с лишним накачалось... И тут уже без дополнительных примочек не обойтись.
Попробуйте StatHtml. Это чуток подправленная версия, я там какие-то глюки убирал. Требует наличия на сервере Perl. Работает по статистическому журналу формата Eserv/2 (DATA\log\stat\log\ммддstat.log).
imported
Alex J08.10.2008 12:43
Работает по статистическому журналу формата Eserv/2 (DATA\log\stat\log\ммддstat.log).

У меня Eserv3. Куда именно распаковать архив? (во вложенном readme инструкция для Eserv/2)
Установите в Eserv права для этой директории
например All = 1 или по Вашему усмотрению.
и     все ...

Запуск http://eservhost:3128/stathtml/

Как выставлять в Eserv права для директорий? Порт разве не 3140?
imported
pig08.10.2008 12:59
Распакуйте, например, в stathtml (прямо в корне Eserv сделайте).
В стандартной конфигурации права выставлять не надо. Надо открыть acWEB\conf\http\CGI.rules.txt и добавить строку:
Uri /stathtml/* | DocumentRoot: ..

После этого спокойно можете обращаться по http://<ваш_eserv>:3140/stathtml/

Да, ещё в setup.ini путь в каталог с журналами поправьте.

Perl установили? Путь к Perl.exe (правильный) записали в HTTP[PerlBin]?
imported
Alex J09.10.2008 06:38
так, ну сейчас по адресу http://<ваш_eserv>:3140/stathtml/ выдает
HTTP/1.0 302 Moved
Location: stathtml.pl
imported
ac09.10.2008 06:57
А http://<ваш_eserv>:3140/stathtml/stathtml.pl что говорит?
imported
Alex J09.10.2008 08:33
эм.. предлагает открыть или сохранить файл. При "открытии" мелькает черное окошко перла и собственно, все.
imported
pig09.10.2008 11:14
Странно. А если сохранить — что в файле будет?
imported
alex112409.10.2008 16:26
А что можно попробовать если при наборе адреса
http://acWeb/stathtml/ выдает — HTTP/1.0 302 Moved Location: stathtml.pl а если — http://acWebstathtml/stathtml.pl — выводит страницу "Статистика работы Eserv", но, в зависимости от прописанного пути (есть в конце слэш или нет) выводит или пустую страницу или незаполненную страницу со статистикой
imported
ac09.10.2008 18:01
Похоже, что Perl там какие-то ошибки выдает вначале и этим сдвигает CGI-заголовки так, что они уже определяются как часть страницы.
Можно попробовать http://www.eserv.ru/download/acWEB_071008.rar (заменить acWEB.exe), он должен поймать эти лишние "заголовки" в acWEB.log.
imported
Alex J10.10.2008 07:40
pig пишет: Странно. А если сохранить — что в файле будет?
будет файл statehtml.pl. При открытии выскакивает черное окно и сразу закрывается. Кстати, результат тоже зависит от того, есть ли в конце адреса слэш. Если нет, то ошибка 403 — forbidden (речь о http://localhost:3140/stathtml)
imported
Alex J10.10.2008 07:43
ac пишет: Можно попробовать http://www.eserv.ru/download/acWEB_071008.rar (заменить acWEB.exe), он должен поймать эти лишние "заголовки" в acWEB.log.
заменил файл, позапускал эти странички. Похоже, не поймал
<30>
Log started: Fri, 10 Oct 2008 10:43:03 +0600 (acWEB/3.0, build 9083, 07.10.2008) RLINE\SERVERRL$ startup... ##n isn't unique ####n isn't unique MMDD isn't unique YYYYMMDD isn't unique YYYY-MM-DD isn't unique DD.MM.YYYY isn't unique YYYYMM isn't unique hh:mm:ss isn't unique bps isn't unique rbps isn't unique obps isn't unique orbps isn't unique RUN-SERVICE [/quote:2ac35b6223]
imported
ac10.10.2008 07:50
Alex J пишет: При открытии выскакивает черное окно и сразу закрывается.
Это вы perl на него запускаете... Переименуйте в stathtml.html (а вообще его надо выслать на support@eserv.ru).

Alex J пишет: Кстати, результат тоже зависит от того, есть ли в конце адреса слэш. Если нет, то ошибка 403 — forbidden (речь о http://localhost:3140/stathtml)
При обращении к каталогу должен быть слэш. Он редиректит на слэш автоматом, но страницы index.html в каталоге нет, поэтому 403. Но сейчас это к теме (статистики) не относится.

Alex J пишет: Похоже, не поймал
Да, вывод acWEB правильный (эти "isn't unique", т.к. у него кусок mlogc plugin уже есть внутри), а перловых ошибок нет. Значит дело в другом, будем посмотреть на тот файл, что вы вышлете на support.
imported
Alex J10.10.2008 09:11
Отправил.
imported
ac10.10.2008 14:50
Получил. Все понятно. Perl у вас не запускается, скрипт отдается как есть — исходным текстом.
imported
Alex J13.10.2008 13:12
А не подскажите, как совместить denver с eserv? Я очень слабо разбираюсь в скриптах. stathtml.pl запускается из-под виртуального сервера, но там все по нулям. Может, мне проще логи выслать? Так или иначе, что вы можете сказать по изначальному вопросу?
imported
pig13.10.2008 15:14
В setup.ini правильный (лучше полный) путь к логам формата Estat укажите:
$dirlog = "C:\\Program Files\\Eserv3\\DATA\\log\\estat\\log\\";
imported
Alex J14.10.2008 06:59
Получилось, вот скрин
12
imported
pig14.10.2008 10:20
Да, весело... Ну что, остаётся надавить на ссылку и посмотреть детальную статистику по www.ati.su
imported
Alex J14.10.2008 13:54
13
imported
pig14.10.2008 15:48
На сегодня идей больше нет
Ну, разве что поставить седьмой уровень журнала, чтобы появились отладочные логи с дампами. Правда, не представляю, что из этого можно извлечь.
imported
ac14.10.2008 19:50
А что с этими http://www.ati.su/EditPages/ ? Что туда сотнями мегабайт отправляется? Интересно было бы взглянуть на grep лога по этому URL'у.
imported
ac14.10.2008 20:05
Alex J пишет: Может, мне проще логи выслать?

А какой размер файла получится, если упаковать этот каталог estat\logs?
imported
Alex J15.10.2008 06:57
ac пишет: Интересно было бы взглянуть на grep лога по этому URL'у.

Я вас не понял
А какой размер файла получится, если упаковать этот каталог estat\logs?

3 Мб
imported
pig15.10.2008 09:26
Шлите на support@
Интересны также будут логи из DATA\log\advsoft\, там информации больше.
imported
Alex J15.10.2008 12:07
отправил оба лога
imported
ac15.10.2008 15:54
У пользователей ksenia, sveta и др. работают какие-то спец-клиенты для этого сайта (возможно ajax-клиент внутри браузера). Вот sveta отправляет что-то каждые несколько секунд, явно не вручную какие-то формы заполняет:

15:59:00 35845 HTTPP;192.168.1.121;sveta;
POST http://www.ati.su/EditPages/EditProcessor.asmx/CreateEntity HTTP/1.0;200;http;841;1016;827 15:59:03 35844 HTTPP;192.168.1.121;sveta;POST http://www.ati.su/EditPages/EditProcessor.asmx/UpdateEntity HTTP/1.0;200;http;514;500;1028 15:59:03 35848 HTTPP;192.168.1.121;sveta;POST http://www.ati.su/EditPages/EditProcessor.asmx/UpdateEntity HTTP/1.0;200;http;515;4172;123 15:59:04 35849 HTTPP;192.168.1.121;sveta;GET http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;331;875;378 15:59:04 35848 HTTPP;192.168.1.121;sveta;POST http://www.ati.su/EditPages/EditProcessor.asmx/UpdateEntity HTTP/1.0;200;http;514;672;764 15:59:04 35844 HTTPP;192.168.1.121;sveta;GET http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;40354;1016;39718 15:59:05 35845 HTTPP;192.168.1.121;sveta;POST http://www.ati.su/EditPages/EditProcessor.asmx/CreateEntity HTTP/1.0;200;http;841;3375;249 15:59:06 35848 HTTPP;192.168.1.121;sveta;GET http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;40438;594;68077 15:59:07 35850 HTTPP;192.168.1.121;sveta;POST http://www.ati.su/EditPages/EditProcessor.asmx/UpdateEntity HTTP/1.0;200;http;515;500;1030 15:59:09 35845 HTTPP;192.168.1.121;sveta;GET http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;40249;2016;19964 15:59:10 35852 HTTPP;192.168.1.121;sveta;POST http://www.ati.su/EditPages/EditProcessor.asmx/UpdateEntity HTTP/1.0;200;http;513;500;1026 15:59:11 35852 HTTPP;192.168.1.121;sveta;GET http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;40344;609;66246 15:59:11 35850 HTTPP;192.168.1.121;sveta;POST http://www.ati.su/EditPages/EditProcessor.asmx/UpdateEntity HTTP/1.0;200;http;515;3438;149 15:59:12 35855 HTTPP;192.168.1.121;sveta;POST http://www.ati.su/EditPages/EditProcessor.asmx/UpdateEntity HTTP/1.0;200;http;513;360;1425 15:59:13 35855 HTTPP;192.168.1.121;sveta;GET http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;40348;1563;25814 15:59:15 35850 HTTPP;192.168.1.121;sveta;GET http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;12277;3063;4008
Но у Светы еще цветочки (по трафику). Ксения вот отправляет сотни Кб по нескольку раз в минуту:

09:32:41 10445 HTTPP;192.168.1.157;ksenia;
POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;265946;10625;25030 09:33:15 10498 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;266107;2922;91070 09:33:33 10551 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;266304;3250;81939 09:34:13 10610 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;265723;5500;48313 09:34:46 10663 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;265612;7532;35264 09:35:12 10717 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;266263;3125;85204 09:36:37 10777 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;266183;4453;59776 09:36:55 10832 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;266514;2109;126369 09:37:56 10888 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;265621;5000;53124 09:38:26 10939 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;265377;3812;69616 09:38:48 10993 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;83983;3172;26476 09:39:06 11049 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;265287;2625;101061 09:39:56 11101 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;266011;6797;39136 09:40:36 11157 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;265842;2750;96669 09:41:34 11214 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;151035;3250;46472 09:42:23 11266 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;261777;1953;134038 09:43:48 11321 HTTPP;192.168.1.157;ksenia;POST http://www.ati.su/EditPages/OwnItems.aspx?EntityType=Load HTTP/1.0;200;http;261265;2953;88474
Или вот идущие подряд запросы, каждые 1-2 секунды по 60Кб:
1221037314.000 1110 192.168.1.121 TCP_CLIENT_REFRESH/200 61714
POST http://www.ati.su/EditPages/EditLoad.aspx?ID=1135158&Action=Edit&WindowMode=Popup sveta DIRECT/80.93.53.33 text/html; 1221037316.000 1578 192.168.1.121 TCP_CLIENT_REFRESH/200 61706 POST http://www.ati.su/EditPages/EditLoad.aspx?ID=1135611&Action=Edit&WindowMode=Popup sveta DIRECT/80.93.53.33 text/html; 1221037317.000 1156 192.168.1.121 TCP_CLIENT_REFRESH/200 61709 POST http://www.ati.su/EditPages/EditLoad.aspx?ID=1134578&Action=Edit&WindowMode=Popup sveta DIRECT/80.93.53.33 text/html; 1221037318.000 1187 192.168.1.121 TCP_CLIENT_REFRESH/200 61711 POST http://www.ati.su/EditPages/EditLoad.aspx?ID=1134608&Action=Edit&WindowMode=Popup sveta DIRECT/80.93.53.33 text/html; 1221037320.000 1797 192.168.1.121 TCP_CLIENT_REFRESH/200 61710 POST http://www.ati.su/EditPages/EditLoad.aspx?ID=1135108&Action=Edit&WindowMode=Popup sveta DIRECT/80.93.53.33 text/html; 1221037321.000 1640 192.168.1.121 TCP_CLIENT_REFRESH/200 61722 POST http://www.ati.su/EditPages/EditLoad.aspx?ID=1136032&Action=Edit&WindowMode=Popup sveta DIRECT/80.93.53.33 text/html;
Так не мудрено за день большой трафик нагнать. По косвенным признакам (TCP_CLIENT_REFRESH и &WindowMode=Popup) можно предположить, что это автообновляемое окошко с какой-то информацией. И ID разные, т.е. это точно явные отдельные запросы от клиента, а не самодеятельность прокси по самопроизвольному повтору запросов или какое-нибудь зацикливание.

То что при редиректе маршрута к этому сайту напрямую мимо прокси трафик падает может говорить о том, что у этих дам браузер (или спец-клиент) настроен на прокси, и при отключении прокси он просто не работает.

В общем, претензии вашего клиента необоснованы. Трафик реальный, и это не ошибка прокси или какой-то еще настройки.
imported
pig15.10.2008 16:18
Как версия: это может быть не AJAX-клиент, а Java-апплет. При наличии прямого подключения он устанавливает соединение с сервером по своему проприетарному протоколу и за счёт этого трафик не сильно велик (частые переспросы не нужны, сервер может сам толкнуть клиента). При работе через прокси (при невозможности установки прямого соединения на нестандартный порт) он переходит на работу по HTTP с регулярными перезапросами данных, поэтому трафик так растёт.
imported
Alex J16.10.2008 13:38
По косвенным признакам (TCP_CLIENT_REFRESH и &WindowMode=Popup) можно предположить, что это автообновляемое окошко с какой-то информацией. И ID разные, т.е. это точно явные отдельные запросы от клиента, а не самодеятельность прокси по самопроизвольному повтору запросов или какое-нибудь зацикливание.

Я согласен. Сайт — по сути живая база данных, все происходит в реальном времени.
То что при редиректе маршрута к этому сайту напрямую мимо прокси трафик падает может говорить о том, что у этих дам браузер (или спец-клиент) настроен на прокси, и при отключении прокси он просто не работает.
это практически нереально. При установке прокси я только галочки в браузере поставил. До этого прокси не работал.
При наличии прямого подключения он устанавливает соединение с сервером по своему проприетарному протоколу и за счёт этого трафик не сильно велик (частые переспросы не нужны, сервер может сам толкнуть клиента). При работе через прокси (при невозможности установки прямого соединения на нестандартный порт) он переходит на работу по HTTP с регулярными перезапросами данных, поэтому трафик так растёт.
вот это очень вероятно, попробую написать непосредственно разработчикам
Трафик реальный, и это не ошибка прокси или какой-то еще настройки.
это понятно, но клиент в данной ситуации считает, что его обманули
imported
Alex J20.10.2008 14:29
в общем, я поговорил с программистами, говорят, никаких нестандартных портов, единственная возможная причина таких рефрешей — отключенные куки. Я проверил куки через прокси (на mail.ru) — работают. Не знаю, что еще можно сделать. У вас нет никаких идей?
imported
ac23.10.2008 12:54
Раз у вас прямой выход на программистов этого сайта, то наверное они прям на сервере могут посмотреть, нормальные ли куки к ним приходят от ваших пользователей, и что там еще может быть не так.

По логам прокси видно только то, что он добросовестно выполняет команды браузера, а логика браузера и сервера ему неподвластны.
imported
Работает на Eserv/5.05567 (10.02.2020)