Нда... А раньше за мной пешком бегали...

Настраивая свой сайт (некую погодную станцию, о которой расскажу позже), случайно обнаружил, что за мной по пятам бегает некто WebIndex 92.242.35.54. Ну, то есть буквально: я создал и открыл никому прежде не ведомую страницу, и следом за мной в ту же секунду на нее ломится робот! Владелец робота-бегунка откровенно невнятен:

$ whois 92.242.35.54
inetnum: 92.242.35.48 — 92.242.35.63
netname: DTLN-CUSTOMERS
descr: Mir Telematiki, llc
person: Chayanov Petr
address: Moscow, Obolenskiy per., 10
phone: +7(903)1499639
abuse-mailbox: [email protected]

Первая мысль была, что в браузере завелся какой-то левый плагин, который сдает все посещенные адреса. Но оказалось, что то же самое происходит и в Firefox, и в Chrome, и даже при запросе консольным wget с указанием адекватного для браузеров user-agent (например, wget --user-agent="Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.34 (KHTML, like Gecko) Chrome/34.0.217.99 Safari/537.36"), обычный wget робота не привлекает).

Более того, робот прибегает и на каждое изменение GET-параметров! Я бы подумал, что мой комп или даже прошивка роутера заражена чем-то, но нет — следилка тупо на стороне провайдера! Я отключил роутер, подключил напрямую к проводу свежайший ноут со свежепоставленной Убунтой (другу как раз ставил), и словил тот же эффект.

Простейшее гугление обнаружило дивный пост человека, который умудрился реально пострадать от этого робота — запрограммировал для себя какой-то скрипт очистки баз, а ночью пришел робот и своим заходом запустил повторно:http://kkirsanov.livejournal.com/404721.html А из поста по ссылке мы узнаем отгадку: некая частная фирма договорилась с провайдерами (Акадо, ТТК, РосТелеком, ЭрТелеком, Qwerty, NetByNet и так далее), чтобы те ей сдавали все запросы клиентов! Просто так, для любопытства, самообразования, анализа сетевой активности и поисковых (вау!) запросов: http://sporaw.livejournal.com/347832.html И вот это уже прекрасно, товарищи. Куда мы ходим по интернету, уже следит не просто СОРМ, а вообще кто попало!

PS: Как думаете, может это повод уйти из qwerty в onlime? Или onlime тоже сдает? Проверьте там кто-нибудь, кто умеет.