Обновлено: 23 декабря, 2021
Для анализа корректности составления файла robots.txt в вебмастере Яндекс существует специальный инструмент – «Анализ robots.txt»
Скриншот:
В этом инструменте помимо выявления ошибок в файле robots.txt можно проверить любую страницу сайта (либо список страниц)- запрещена ли она для индексации.
Пример разрешенной для индексации страницы:
(12 оценок, среднее: 5,00 из 5)Для того чтобы оценить запись, вы должны быть зарегистрированным пользователем сайта.
Загрузка...
