Краулер-шпион, про который я писал тут и тут на данный момент обошёл некую часть рунета. Для индексации ему были разрешены сайты в зонах .ru (рунет), .su (совконет), .ua (хохлонет), .by (бульбанет), .name (погонялонет). По различным предварительным прикидкам, я ожидал что проиндексируется от 800 тысяч до полутора миллионов сайтов. Реальность оказалась интереснее – бот за 5 дней [...]