Правильный robots.txt для сайта без CMS

Обновлено: 23 декабря, 2021

Данный robots.txt запрещает для индексации страницы с расширением .php, а также все адреса страниц, содержащие GET-параметры.

User-agent: Yandex
Disallow: /*.php*
Disallow: /*?*
Sitemap: url_сайта/sitemap.xml

User-agent: *
Disallow: /*?*
Disallow: /*.php*
Рейтинг автора
Автор статьи
Юрий
SEO-аналитик, программист (PHP, Ajax, Delphi, MySQL).
Написано статей
268
13 оценок, среднее: 4,92 из 513 оценок, среднее: 4,92 из 513 оценок, среднее: 4,92 из 513 оценок, среднее: 4,92 из 513 оценок, среднее: 4,92 из 5 (13 оценок, среднее: 4,92 из 5)
Для того чтобы оценить запись, вы должны быть зарегистрированным пользователем сайта.
Загрузка...
Понравилась статья? Поделиться с друзьями:
Блог Программиста
Добавить комментарий

один × 3 =