Вы здесь:
Если файл robots.txt отдает 5хх ошибку, Googlebot не будет сканировать сайт

Автор (Прочитано 651 раз)

 

Lizzza

  • Новичок
  • *
  • 15
    Сообщений
  • Карма: +0/-0
  • seotoker
    • Просмотр профиля
На конференции вебмастеров Google Webmaster Conference было объявлено: если доступ к файлу robots.txt будет затруднен, робот поисковой системы Google не пойдет дальше на обход самого ресурса.
Ранее в сетях появилась информация, что веб-ресурс не будет просканирован, если сам документ robots.txt есть, но недоступен для бота. На конференции сотрудники компании уточнили, что это касается только случаев, когда сервер отдает код ошибки 5хх.

Как сделать, чтобы робот быстрее просканировал сайт
Чем скорее робот поисковых систем обойдет веб-ресурс, тем скорее он совершит обработку необходимой информации и добавит ресурс в индекс. Существуют разные способы ускорения индексации.
Один из них — грамотная настройка robots.txt. Закройте ненужные страницы, и на них не будет расходоваться краулинговый бюджет. 
Важно загружать актуальную карту сайта sitemap.xml. Задайте данные обо всех страницах ресурса, которые следует обойти. А также задаете их важность и приоритет индексации.
Настройка внутренней перелинковки тоже облегчает задачу просканировать сайт.
Добавляйте на веб-ресурс новый контент или обновляйте имеющийся. Поисковые системы более оперативно сканируют площадки, где на регулярной основе появляется новый контент.
Какие еще способы посоветуете, чтобы просканировать сайт быстрее?

Комментарий: Как вариант закупать больше внешних ссылок, которые бот будет также сканировать, и закидывать в индекс. И еще добавление на обход через панели вебмастеров- по моему самый очевидный из способов.