21 Responses

1. Mad Cat

   December 13th, 2007 at 18:25:49

   1

   Прикольно. А на чем сам spider написан?

   Можно еще попробовать по нехитрому принципу проверять стоят ли на странице биржевые ссылки и ставить в таблицу результатов true|false.
   Открытость|закрытость статистики на том же li.ru можно проверять.

2. alexf

   December 13th, 2007 at 19:17:05

   2

   А зачем это нужно? Те циферки которые я выковыриваю, нужны для идентификации сайта и его хозяев, а чему может помочь открытость/закрытость статистики я что-то не пойму. Скрипт написан на пхп.

3. vosemd

   December 13th, 2007 at 20:33:44

   3

   А скрипт многопоточный?

4. seowriter

   December 13th, 2007 at 20:43:34

   4

   [...]AlexF сделал скрипт, обходящий сайты и выкусывающий циферки[...]

5. Obfuscator

   December 13th, 2007 at 20:49:51

   5

   ты не из фсб случайно?

6. Tex

   December 14th, 2007 at 02:57:21

   6

   Реализовывали похожую идею. По крайней мере ядро краулера есть, а уж под какую фишку его заточить – дело техники и прямых рук(и мозгов естесственно).

   Скриншотики на предъявителя =)

7. KARPOLAN

   December 14th, 2007 at 06:26:35

   7

   Ну еще можно данные из WhoIs использовать, смотреть вхождения телефонов, имейлов, адресов.

   По IP адресам, подсетям, и указанным DNS серверам тоже много чего интересного находится.

   Но ты так же учти, что в HTML можно и чужие данные запросто вставлять. Хотя я слабо верю, что кто-то будет крутить чужой адсенс. Но мало ли…

   P.S. Твой кравлер точно не сработает на чужой адсенс айди в комментариях?

8. Тормоз

   December 14th, 2007 at 08:49:25

   8

   Можно уйму статистических данных собрать. Ну вот, навскидку, что подумалось:

   1. Запалить держателей самых крупных сеток MFA, MFB (for Begun) и т. п.
   2. Подсчитать статистику использования доктайпов (версии, и без оных вообще).
   3. Статистика по кодировкам.
   4. Рейтинг айпишников (по количеству сайтов).
   5. Рейтинг акцепторов (по количеству ссылок).
   6. Пропорции использования всяких сервисов статистики.
   7. Выявлять сайты, использующие дурацкие тэги (noindex).
   8. Вычислить среднюю “тэгонасыщенность” страниц в рунете ) Ну и, естественно, тогда будут данные по самой монструозной и самой минималистичной страничке.
   9. Выявлять сайты, регулярно тянующие картинки с других серверов.
   …

   P.S. Насчет того, что рунет вообще мелкий, говорил где-то полгода назад Pelvis, чувак на SE. У них там какая-то поисковая система.

9. Idler

   December 14th, 2007 at 17:04:10

   9

   Тормоз, – хуйня, никто не вычислит меня, например использующего множество акков, по первому твоему пункту. Скрыть принадлежность сайта определенному челлу, вообще, – достаточно легко. Правда, иногда, просто в этом, – нет смысла

10. alexf

    December 14th, 2007 at 17:49:31

    10

    Тормоз, а как бегуна запалить? У них вроде нету привязки к человеку-владельцу аккаунта, только к сайту. Статистика по доктайпу, кодировкам и т.п. мне не нужна, зачем её собирать?
    KARPOLAN, адсенс учитывается только тот что крутится – если там 2 блока на 2х разных аккаунтах, запомнит оба. Наверное как-то специально обдурить парсер можно, только кто этим будет заниматься?
    Obfuscator, случайно нет, а что?
    vosemd, скрипт конечно многопоточный, а как ещё?

11. vosemd

    December 16th, 2007 at 22:07:34

    11

    Ну я не знаю, как по-другому, не занимался обработкой настолько больших объемов данных. Кравлер писал простенький, но в один поток.
    Хотелось бы ещё немного технических деталей.

12. alexf

    December 16th, 2007 at 23:36:16

    12

    Да там всё примитивно, просто урезанный поисковик – индексировать то ничего не надо кроме циферок. И объём данных там не так чтоб сильно большой, с каждого хоста снимается по 2 страницы и они даже не хранятся.

13. boo

    December 18th, 2007 at 00:41:42

    13

    С чужим адсенсом можно будет всяко пошаманить – и по хорошему , и по плохому.Только опять много будет ручной работры, что не гуд.
    А открытые статы li.ru – это вещь, если автоматизировать.Кто по ним работал – согласится.

14. Saney

    December 19th, 2007 at 00:35:58

    14

    А если, например, подключать adsense через внешний .js файл , то скрипт его найдет?

15. SergX

    December 19th, 2007 at 15:18:11

    15

    “А если, например, подключать adsense через внешний .js файл , то скрипт его найдет?”

    …или делить адсенс ид в коде на две части, обьединяе его путем вставки пары жаваскриптовых операторов

16. alexf

    December 19th, 2007 at 17:05:52

    16

    Сейчас скрипт ищет только стандартный код, выдаваемый гуглом. Естественно его можно пытаться спрятать (зачем?) и естественно бота тоже можно сделать умнее.

17. Дима

    December 22nd, 2007 at 18:57:23

    17

    Неплохо, но, например, у меня часто как раз на главной никакой рекламы нет, а вот на внутренних страницах уже встречается.

18. alexf

    December 23rd, 2007 at 19:15:21

    18

    Дима, если внимательно прочитать всё что я тут написал по данной теме, то можно найти упоминание этой проблемы и способ её решения. С каждого сайта качается по 2 страницы.

19. Рунет под колпаком

    December 29th, 2007 at 15:14:37

    19

    [...] про который я писал тут и тут на данный момент обошёл некую часть рунета. Для [...]

20. Смоленский Товарищ

    December 30th, 2007 at 04:59:19

    20

    Александр, бегуна вроде можно палить на ссылках для поиска рекламодателей referal.begun.ru/advert.php?oid=циферки)

21. alexf

    January 1st, 2008 at 18:05:07

    21

    Смоленский Товарищ, не думаю что на всех сайтах где крутится бегун такое есть – эти ссылки интересны только вебмастерской аудитории, так что особого смысла их собирать по моему нет. Надо что-то более массовое.