Правильный robots.txt для сайта без CMS

Для сайта без CMS нет единственного «правильного» robots.txt. Запрещайте только те пути, которые действительно являются служебными. Расширение .php и параметры запроса сами по себе не делают страницу ненужной.

Пример для сайта со служебным каталогом /internal/:

User-agent: *
Disallow: /internal/

Sitemap: https://example.com/sitemap.xml

Замените адрес Sitemap своим каноническим адресом. Проверьте, что важные страницы, CSS, JavaScript и изображения доступны роботу. Файл управляет обходом, но не является защитой данных и не гарантирует удаления URL из индекса. Для запрета индексирования используйте noindex с доступным обходом, для закрытого раздела — авторизацию.

Проверка robots.txt в Яндекс Вебмастере.

Документация: robots.txt.