Импульсный парсинг

05 Mar

Posted by alexf as Google, SEO сервисы, идеи

« Как пробить защиту мусорных каталогов | Инструменты: ЦС Яззле »

Очередная идея-фикс, как избежать банов за парсинг, в данном случае не только гугла, а чего угодно. Применимость зависит от реализации механизма бана, может прокатить, может нет. Нужно парсить так, чтобы как можно больше запросов уложилось в как можно меньший интервал по времени. Например, если скажем гугл проверяет, не было ли с одного адреса больше 1000 запросов за 5 минут раз в 5 минут и если было, то банит, то надо попытатся дёрнуть его столько раз сколько можно до того как он сделает проверку. То есть уложить 1000 запросов скажем в пару секунд, если возможности это позволяют.

7 Responses

Back Door Man

March 5th, 2008 at 17:27:03
1

Гм..сомнительная идея. Счетчик проверки может увеличиваться сразу после каждого запроса. Чтобы обойти проверку надо успеть получить ответ на 2й запрос быстрее, чем придет ответ на 1й, что, понятное дело невозможно.
seowriter

March 5th, 2008 at 17:35:39
2

Если бы получилось реализовать идею было бы превосходно, но имхо почти нереальная.

мне понравилось слово Stalin. как антиспам проверка)))
Дима Спадов

March 5th, 2008 at 17:51:51
3

Я так понимаю, это пока только теория. Кто-нибудь это уже реализовывал?
У меня написан парсер гугла, работающий через прокси. Скорость не фонтан, но зато получается приличное количество раз дернуть гугл. Вот только халявные прокси дохнут быстро, а постоянно платить за них – жаба не позволяет) Поэтому жертвую временем)
pajed

March 5th, 2008 at 20:21:02
4

“То есть уложить 1000 запросов скажем в пару секунд”.
Имхо от такого сервер сразу поймет, что это атака…
И забанит навсегда…:))
reality

March 5th, 2008 at 20:29:25
5

Простые юзеры устаривают гуглю и более жесткие атаки чем 1000 запросов в секунду
Дима Спадов

March 6th, 2008 at 08:47:02
6

Еще можно приспособить для парсинга гугла, к примеру, ботнет. Правда тут без написания специального софта не обойтись.
alexf

March 12th, 2008 at 21:35:32
7

Ботнетом парсить гугл жалко, тогда уж проще сервер с сотней ип купить и горя не знать. Тем более что сейчас выдача очень сильно гуляет между датацентрами, мировой ботнет фигни напарсит.