Правильный robots.txt для CMS WordPress
Пример файла robots.txt User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow:
Блог Программиста
Правильный robots.txt для сайта без CMS
Обновлено: 01 декабря, 2018Данный robots.txt запрещает для индексации страницы с расширением .php, а также
Блог Программиста
Проверяем корректность robots.txt в Яндекс Вебмастер
Обновлено: 16 июня, 2019Для анализа корректности составления файла robots.txt в вебмастере Яндекс существует специальный
Блог Программиста