Государство часто может выступать как поставищик уникального контента для вебмастеров. Например тут можно вытащить данные по 8000 образовательным учреждениям США. А тут – судовые решения Украины. Особенно хороши всякие базы данных, где доступ осуществляется через нестандартный интерфейс, куда гуглбот не может залезть. Почитал на досуге секретный документ гугла для рейтеров