« Как обновлять Blogroll | Инструменты: Digerati Blackbox Toolkit »
В последнее время МСН стал насылать на доры тучи ботов, которые представляются интернет эксплорером и видимо им и являются, поскольку выполняют скрипты. Такие же подозрительные боты иногда приходят и из других мест. В связи с этим встаёт новая проблема – как отличить ботов браузеров от людей? Раньше всё было просто, если юзерагент ботовый, то это бот, иначе это человек, но теперь боты могут заходить с тысяч разных адресов при этом используя браузер. Какой вред они могут принести, кроме очевидной растраты ресурсов сервера? Например, такие боты могут подпортить статистику отказов (bounce rate), что может плохо повлиять на ранжирование сайта в гугле. Как же их отличить от нормальных посетителей? Если бот сделан грамотно, то только по ip, либо косвенными методами. Если посетители идут в большом количестве из сети микрософта, как в данном случае, то можно догадаться что это боты. Если один и тот же ип адрес виден в логах на сайтах не связанных ссылками, то это скорее всего какой-то сканер.
6 Responses
June 11th, 2008 at 17:03:52
// php gravatar() ?>1“поскольку выполняют скрипты” – это как определилось?
Про редирект с mouse* – знаю, но бот вполне мог уйти по этой ссылке просто найдя ее как ссылку в теле документа….
Вобщем, подробностей бы
June 11th, 2008 at 18:44:58
// php gravatar() ?>2Думаю с тем объемом статистики, которая есть у гугла, он без проблем “ботовых” отсеит посетителей, которые ходят по очень большому числу сайтов.
June 11th, 2008 at 20:36:52
// php gravatar() ?>3Уже и по JS линкам переходят?
При переходе на каждую страницу
Теперь отличить будет сложнее… надо подумать как. Пока что на ум тока капча приходит
June 11th, 2008 at 21:57:40
// php gravatar() ?>4Вот буквально только что как раз сделал у себя фильтр, чтобы в статах лендингов не учитывались эти самые боты-браузеры мсн’а, а то их заходов стало столько, что они конкретно статистику размазывают. Если кто не знает вдруг, ходят они представляясь IE7, с поисковым реферером с live.com (чаще всего нереальным, просто левый однословник в запросе, но иногда и с настоящих серпов), отлично пересылаясь с дора яваскриптовым редиректом на конечный лендинг.
Ипы 65.55.110.* и 65.55.109.*
Это только те, что явно в глаза бросаются. Наверняка есть другие, менее заметные сетки.
June 14th, 2008 at 09:53:20
// php gravatar() ?>5А я то думаю почему сервер зависает от количества обращений к базе данных при Апах msn и yahoo! Все теперь этих ботов я пристрелю в htaccess! Вот редиски, спасибо что подсказали!
June 19th, 2008 at 11:11:44
// php gravatar() ?>6Хитрая “система перенаправления” рулит
RSS feed for comments on this post · TrackBack URI
Написать комментарий
Про что писал
Календарь
Куйворды
Архив
Подписка на блог
Статистика подписки
Страницы
Комментарии
Последние посты
Blogroll
Счётчики
Свежие записи
Последние комментарии
Интересное на блоге
Самое комментируемое
SEO блог где палят темы is proudly powered by WordPress - BloggingPro theme modified by alexf