Проверяем корректность robots.txt в Яндекс Вебмастер

Для анализа корректности составления файла robots.txt в вебмастере Яндекс существует специальный инструмент – «Анализ robots.txt»

Скриншот:
Анализ robots.txt

В этом инструменте помимо выявления ошибок в файле robots.txt можно проверить любую страницу сайта (либо список страниц)- запрещена ли она для индексации.

Пример разрешенной для индексации страницы:
Пример разрешенной для индексации страницы

Рейтинг автора
Автор статьи
Юрий
SEO-аналитик, программист (PHP, Ajax, Delphi, MySQL).
Написано статей
105
1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (12 оценок, среднее: 5,00 из 5)
Загрузка...
Понравилась статья? Поделиться с друзьями:
Добавить комментарий

3 × два =

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: