«Яндекс» сообщил о запуске «быстрого» робота, который работает одновременно с основным и предназначен для оперативного обнаружения и индексации актуальных страниц.
Новость о запуске быстрого робота появилась 1 августа, но на самом деле он работал уже в конце июля, что наверняка заметили самые внимательные посетители «Яндекса». По словам программиста отдела разработки поисковых сервисов Александра Авдонкина, база быстрого робота обновляется каждые 1,5–2 часа, а время от момента скачивания документа до момента его появления на поиске составляет от 2 до 5 ч. На сегодняшний день база быстрого робота насчитывает около 4 млн документов.
Таким образом, быстрый робот создан для обслуживания «элитных» веб-сайтов, которые теперь будут обновляться в индексе гораздо чаще, чем остальные сайты Рунета. Естественно, многих волнует вопрос — как попасть в число этой «элиты»? С этим вопросом мы обратились к главному редактору компании «Яндекс» Елене Колмановской: «Быстрый робот нужен для индексации актуальных документов, наиболее востребованных пользователями. Соответственно, база быстрого робота меняется в зависимости от изменения интересов аудитории. Никаких специальных усилий для попадания в базу быстрого робота предпринимать не требуется и даже невозможно — разве что опубликовать что-то очень интересное».
Каким же образом определяется популярность страниц в конкретный момент времени? Как «Яндекс» определяет, что должен индексировать быстрый робот? «Востребованность документа определяется автоматически на основе разных источников информации (пока — четырех). Алгоритм мы, естественно, не публикуем — по тем же причинам, по которым не раскрываем алгоритм релевантности», — говорит Елена Колмановская.
При отсутствии официальной информации можно попытаться самостоятельно определить, какими факторами руководствуется алгоритм при определении «элитных» сайтов. Благо, выдача результатов «Яндекса» позволяет определить, какие из сайтов проиндексированы «быстро», а какие — в обычном порядке. Результаты из быстрого робота отличаются наличием поясняющей надписи о том, как давно была проиндексирована последняя версия документа (столько-то часов назад, вчера, позавчера). Среди нормальных результатов такая метка отсутствует.
Страницы быстрого робота особенно хорошо заметны при сортировке результатов поиска по дате. Как можно заметить, это, в основном, средства массовой информации и форумы.
