Переписываю свой чекер проксей, чтобы он использовал мной же придуманный способ добычи новых прокси-листов из выдачи Гугла. Способ такой: после проверки берём проверенную рабочую проксю и ищем, чего гугл показывает по этому запросу. Он показывает прокси-листы, причём не какое-нибудь фуфло, а хорошие, поскольку прокся наша уже проверена и работает. :) В основном проблема получается в том, что выкачиваются огромные списки, которые физически невозможно проверить в разумное время, так что приходится придумывать разные ухищрения.

Заодно, расскажу про небольшую тонкость, которую лучше соблюдать при сканировании проксей – как известно, многие организации где стоят прокси, сильно обижаются, если кто-то ими пользуется. :) То есть можно словить абуз на ровном месте, не из-за спама, а из-за использования прокси. Чтобы избежать этого, прогоняйте адреса проксей перед проверкой через вот этот список: http://www.bluetack.co.uk/config/level1.gz Это как раз список “вредных” организаций, он довольно большой, там от ЦРУ и американской армии до всяких российских институтов и т.п. Список постоянно обновляется, так что нужно периодически выкачивать новую версию.

Также ещё один способ добычи проксей – со своих сайтов, которые спамят. Есть некий набор признаков, по которому можно легко определить, зачем некто пришёл к нам на сайт, и если этот некто пришёл затем чтобы рассказать где купить виагру, то почти наверняка он будет использовать для этого прокси. То есть записав ИП в список и проверив на популярных портах, можно найти немало хороших проксей. Плохо что способ не найдёт прокси на нестандартных портах, но и стандартных у меня находится довольно много.

Кстати, всем использующим прокси советую поизучать скрипт Bad Behavior – сейчас его многие ставят на вордпресс и просто на сайты. Скрипт не даёт отработать запросу, если он содержит какие-то нетипичные вещи, например если из пхп курлом тянуть какой-то документ, но при этом прикидываться браузером, то нужно кое-какие заголовки подправить, иначе сайт с этим скриптом поймёт, что его дурят. :) В общем для улучшения пробива – нужная вещь.

Похожие посты