Теперь в веб-службе Google можно увидеть новый отчёт — robots.txt. В нём содержатся данные об индексации всех страниц ресурса. Так, например, там можно увидеть, какие файлы robots.txt Google обнаружил для 20 лучших хостов на сайте. Кроме того, отображается, когда было выполнено последнее сканирование и предупреждения о найденных ошибках.
Если владельцы сайтов обнаруживают какие-то проблемы с индексацией или сканированием, отчёт поможет узнать, имеет ли это связь с файлом robots.txt. Компания сообщает, что новый отчёт будет использоваться вместо инструмента проверки robots.txt. Последний же теперь будет недоступен для вебмастеров по причине отсутствия необходимости.
Изображение от storyset на Freepik
Помогли 500+ сайтам выйти в ТОП
