Yanga WorldSearch Bot v1.1/beta (http://www.yanga.co.uk/) лазает по дорам и чего-то там индексирует в больших количествах, так что сервера не успевают генерить контент и отрубаются. Забанил 91.205.124.x. Ранее уже видел активность этого бота, но тогда он не настолько нагло себя вёл, видно хозяин ли.ру опять Юни пару серверов подарил. :)

Сделал себе авторазбан всех забаненных ip через 3 месяца, как у Гугла, чтобы что-то хорошее случайнозабаненное могло бы разбаниваться. Но похоже хорошего там мало. :)

Вообще, если кто надумает писать поисковую систему: палю тему. Не пускайте своего бота в интернет, пока не поборете болезнь чрезмерной прожорливости. Ей в какой-то момент своего развития страдают практически все начинающие поисковые боты, которых я видел. А результат всегда один – дыры в индексе на месте сайтов, где админы хоть как-то следят за своим хозяйством.

Похожие посты