В общем вроде удалось решить проблему. Во-первых, выяснилось что если делать короткую задержку в 1/4 секунды между запросами, то бан наступает примерно после 7000 запросов, а не 700, что сразу облегчило проблему. Дальше я написал скриптик, который положил на все свои сервера, скрипту передаётся ип сервера к которому надо биндиться и список доменов, для которых нужно дёрнуть пр. Скрипт биндится к ип сервера (которых много), дёргает пр и отдаёт его “папе”. Папа парсит пр из выдачи скриптика и кладёт в базу, при этом параллельно запуская столько скриптиков, сколько есть доступных ип. В общем и целом вышло достаточно быстро, я доволен. :) Сервера у меня и так есть, так что дополнительных затрат на быстрые прокси не понадобилось, а нагрузка там минимальная. Полезная фича курла – curl_setopt($ch, CURLOPT_INTERFACE, $extip); нужна для того чтобы курл ходил не с первого ип сервера, а с назначенного. Только что пришла в голову мысль – можно попробовать эту штуку запускать на шаред хостингах, где ИП вообще туча у каждого сервера, правда не понятно как они назначаются, дадут ли использовать не назначенный конкретно мне.

Похожие посты