Google предлагает использовать карты сайта XML в комплексе с лентами RSS/Atom и протоколом PubSubHubbub
Google объявил, что для обнаружения контента поисковой системой следует использовать не только файл карты сайта XML, но и предоставить ленты в формате RSS Atom.
Карта XML даст информацию Google обо всех страницах сайта, в то время как ленты RSS/Atom обеспечат все обновления на сайте, помогая Google хранить свежий контент в своем индексе.
Разработчики также рекомендуют уведомлять Google о новых URL-адресах с помощью файлов, использующих как пинги карт сайта, так и протокол PubSubHubbub. Быстро индексируемым сайтам, например, новостным, нет необходимости использовать пинги карт сайта и протокол PubSubHubbub, но это не может повредить.
Технические подробности доступны по ссылке.
1 октября на ежегодной конференции SMX East 2014 аналитик Google Гэри Илш (Gary Illyes) рассказал аудитории о двух технических факторах сайта, которые являются сигналами сканирования для Google. С их помощью он определяет, когда роботу GoogleBot следует замедлить или остановить сканирование сайта.