# robots.txt — универсальные правила обхода.
#
# ВАЖНО: этот файл читает PHP (маршрут /robots.txt) и сам подставляет актуальный
# домен в директивы Sitemap и Host, а также добавляет базовый путь, если сайт лежит
# в подпапке. Поэтому при переносе сайта на другой домен править здесь ничего не нужно:
# строки Sitemap и Host ниже — только запасной вариант, если PHP отключён.
#
# Правила обхода (Disallow/Allow/Clean-param) правятся здесь и попадают на сайт как есть.

User-agent: *
Allow: /
Disallow: /poisk/
Disallow: /spasibo/
Disallow: /api/
Disallow: /_check.php
Disallow: /*?
Disallow: /*?q=
Disallow: /*?utm_
Disallow: /*?yclid=
Disallow: /*?gclid=
Disallow: /*?from=
Disallow: /*&
Allow: /*?page=
Allow: /*?error=1

# Служебные каталоги закрыты на уровне сервера, здесь дублируем на всякий случай
Disallow: /data/
Disallow: /src/
Disallow: /templates/
Disallow: /storage/
Disallow: /config/

# Служебные разделы: админка сайта и кабинет заказчика
Disallow: /admin/
Disallow: /client/

# Яндекс: не учитывать рекламные и трекинговые параметры
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&utm_referrer&yclid&gclid&from&_openstat&fbclid

# Медленные роботы — ограничиваем нагрузку
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 10

User-agent: DotBot
Disallow: /

# Директиву Host Яндекс официально не поддерживает, но она не мешает
# и полезна части старых роботов. Главное зеркало задаётся в Яндекс.Вебмастере.
#
# Адрес карты сайта указывается абсолютным. Если сервер отдаёт этот файл напрямую,
# не пропуская запрос через PHP (так бывает, когда статику раздаёт Nginx или
# в .htaccess нет правила для robots.txt), держите адрес актуальным здесь.
# Если запрос доходит до PHP, маршрут /robots.txt подставит текущий домен сам.
Sitemap: /sitemap.xml
# Абсолютный адрес подставляет PHP-маршрут /robots.txt (домен берётся из запроса).