« Безопасная копия Яндекса | RivaClick дарит яхты, машины, самолеты »
WhoIS по идее надо брать через сайт whois.sc, также известный как domaintools.com. Он лучше чем другие сервисы тем, что там правильно прописаны всякие кривые зоны, типа .name, а также тем что произвольные портянки whois ответов от разных регистраторов, причёсаны к более-менее одинаковому виду.
Но напрямую парсить оттуда никто не даст – дураков нет.
Есть там правда некое АПИ, которое якобы позволяет получать WHOIS данные, но в бесплатном аккаунте мне не удалось заставить его работать – выдаёт ошибку Invalid application name provided или Application TITLE not named or not found, в зависимости от того, к какому хосту обрашаться (там их два).
Однако жадные хозяева данного сайта отдают полные хуизы Гуглу, чтобы тот засосал в индекс побольше страниц, но не дают напрямую просматривать гугловский кеш. Что тут можно сделать? Очень просто – в запросе Гуглу пишем скажем site:domaintools.com alexf.name creation. В ответ на это, искомую дату Гугл выдаёт во второй или третьей строке сниппета. А доменов с этого сайта в индекс с засосалось аж 38 миллионов, то есть все нужные на практике домены (сайты) там почти гарантированно есть. По аналогии можно вытянуть в сниппет и другие части WHOIS информации. Чего там нету – можно запросить с других, менее удобных сервисов, но если вы ищете реально существующие сайты (а не просто регнутые домены), маловероятно чтобы они не были в кеше.
Мелкий, но крайне существенный бонус: проверяя хуизы подобным образом, вы уменьшаете шанс перехвата нужного вам домена, поскольку киберсквоттер сейчас пошёл крайне ушлый – на ходу подмётки режет. Проверив наличие домена “обычным” способом и обрадовавшись оттого что его ещё не регнули, через пару минут вас может ждать облом – сколько нибудь ценный домен будет закиберсквочен.
17 Responses
December 12th, 2009 at 05:14:45
// php gravatar() ?>1Вопрос на засыпку: что мешает пользоваться консольной командой whois? На моей памяти она ни разу не подводила. Единственный минут – это то что она не приводит данные к одному формату но для ручного пользования это не критично
December 12th, 2009 at 05:49:25
// php gravatar() ?>2>на ходу подмётки режет
Ам… Каким образом?
December 12th, 2009 at 07:19:19
// php gravatar() ?>3Проверил навскидку несколько доменов – фишечка не работает
December 12th, 2009 at 09:50:50
// php gravatar() ?>4+1, на старых моих доменах не показывает
December 12th, 2009 at 10:48:33
// php gravatar() ?>5А если при парсинге whois.sc подставлять юзерагент гугла?!
December 12th, 2009 at 16:10:15
// php gravatar() ?>6Надо не на доменах проверять, а на сайтах, я аж 2 раза про это написал.
December 12th, 2009 at 16:13:52
// php gravatar() ?>7seocoder, я пробовал менять агент, но не смог добиться чтобы без жабаскрипта показывались хуизы. Вполне возможно что оно подсеть гугла знает и отдаёт полные данные только правильным ип.
December 12th, 2009 at 16:17:04
// php gravatar() ?>8Mr.k, таким образом, что публичные хуизилки либо предоставляются самими киберсквотерами, либо продают/сливают им данные. В этом году особенно много жалоб на такое было, даже на юмаксфоруме недавно обсуждали, то есть тенденция практически до рунета дошла.
December 12th, 2009 at 16:22:04
// php gravatar() ?>9Alek$, если немного внимательней прочитать пост, то в нём можно найти ответ на вопрос, чем плоха консольная команда: 1) Она выдаёт не структурированные данные, а портянку от регистратора, в формате который придумал регистратор (а регистраторов много разных). 2) Команда обычно не настроена правильно на работу со всеми tld, например стандартно не работает с .name (можно настроить, я знаю). 3) После N запросов подряд, регистратор забанит, причём N – достаточно маленькое число, меньше 100.
December 12th, 2009 at 17:41:09
// php gravatar() ?>10А у меня месяца 3-4 назад отлично бесплатный доступ к АПИ работал. Может имеет смысл саппорт боднуть?
December 12th, 2009 at 17:57:13
// php gravatar() ?>11Mad, доступ к АПИ у меня тоже прекрасно работает. Не работает запрос WHOIS через API.
December 12th, 2009 at 21:41:33
// php gravatar() ?>12OK, я наверное неправильно выразился
у меня работал whois через api.
Ща попробую поднять старые скрипты, перепроверю чтобы не быть голословным.
December 13th, 2009 at 15:59:23
// php gravatar() ?>13Mad, и как успехи, работает сейчас запрос хуиза?
December 13th, 2009 at 16:36:57
// php gravatar() ?>14М-да. Проверил, при попытке дергать http://www.domaintools.com/api.xml?appname=whois&partner=ололо&key=ожожо&domain=google.com&customer_ip=мой_айпи получаю Unauthorized access to API service хотя эккаунт вроде валиден и за 100 запросов я точно не залез.
December 14th, 2009 at 22:14:40
// php gravatar() ?>15Это уже паранойя или извращение. не знаю даже как лучше назвать )
И что значит “правильно прописаны всякие кривые зоны”? Разве с этими зонами есть какие-то проблемы?
December 15th, 2009 at 01:30:37
// php gravatar() ?>16Nayjest, это не паранойя, это реальность для тех кто за свою жизнь регнул больше 3х доменов .ру. Да, есть проблемы с кривыми зонами, в посте и комментариях подробно разжёвано несколько раз, как для особо одарённых.
December 25th, 2009 at 10:37:16
// php gravatar() ?>17Интересная идея. Попробовал вытащить хуизы сайта из кэша – все работает
RSS feed for comments on this post · TrackBack URI
Написать комментарий
Про что писал
Календарь
Куйворды
Архив
Подписка на блог
Статистика подписки
Страницы
Комментарии
Последние посты
Blogroll
Счётчики
Свежие записи
Последние комментарии
Интересное на блоге
Самое комментируемое
SEO блог где палят темы is proudly powered by WordPress - BloggingPro theme modified by alexf