Как известно, поисковики крайне не любят клоакинг и используют всё более продвинутые технологии для борьбы с ним. Первым вроде бы это начал делать яндекс, потом подтянулся MSN, потом Гугл. Кажется сейчас один Яхо пока ещё даёт жить спокойно и редиректить на фид. :) Так вот, чтобы вычислить проверяющих ботов (хитроботов) Гугла и других, можно воспользоваться одним интересным приёмом. Хитробот разумеется будет шифроваться под браузер или даже и будет на самом деле браузером под управлением индуса или скрипта. Кроме того, хитробот возможно будет приходить не с IP поисковика, хотя например MSNовский хитробот приходит с 131.107.xx.xx и поэтому легко палится. :) Но узкое место хитробота, это то, что ему приходится обходить кучу сайтов с одним и тем же, или близким IP. То есть если допустим у вас весь трафик пишется в лог на TDS, то прошерстив этот лог можно найти интересные вещи, а именно – кто-то заходит на доры как бы с поисковика, но по разным запросам и на разные доры. Кто этот неизвестный кто-то думаю всем понятно, нетрудно догадаться, что это Мэтт Катс. :) Если один и тот же адрес просматривает много несвязанных друг с другом сайтов/доров, то практически невероятно, чтобы это был случайный юзверь, это либо хитробот, либо конкурен пытается спалить ваши методы работы. :) Что с ним делать – тоже понятно, не редиректить. Пока писал эту заметку, в другом окне удалось таким образом отловить штук 10 новых, ранее мне неизвестных проверяющих ip.

Похожие посты

    Нет похожих постов