User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /search/
Disallow: /club/search/
Disallow: /club/group/search/
Disallow: /club/forum/search/
Disallow: /communication/forum/search/
Disallow: /communication/blog/search.php
Disallow: /club/gallery/tags/
Disallow: /examples/my-components/
Disallow: /examples/download/download_private/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /communication/forum/user/
Disallow: /e-store/paid/detail.php
Disallow: /e-store/affiliates/
Disallow: /club/$
Disallow: /club/messages/
Disallow: /club/log/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*search.php
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*backurl=
Disallow: /*BACKURL=
Disallow: /*back_url=
Disallow: /*BACK_URL=
Disallow: /*index.php
Allow: /search/map.php
Allow: /upload/*.png
Allow: /upload/*.jpg
Allow: /upload/*.jpeg
Allow: /upload/*.webp
Allow: /upload/resize_cache/*.png
Allow: /upload/resize_cache/*.jpeg
Allow: /upload/resize_cache/*.jpg
Allow: /upload/resize_cache/*.webp
Allow: /bitrix/templates/*.webp
Allow: /bitrix/templates/*.png
Allow: /bitrix/templates/*.jpg
Allow: /bitrix/templates/*.jpeg
Allow: /bitrix/templates/*.svg
Allow: /upload/iblock/*.jpg
Allow: /upload/iblock/*.jpeg
Allow: /upload/iblock/*.png
Allow: /bitrix/templates/*.css
Allow: /bitrix/templates/*.js
Allow: /bitrix/cache/css/*.css
Allow: /bitrix/cache/css/*.js
Allow: /bitrix/cache/js/*.js
Allow: /bitrix/css/*.css
Allow: /bitrix/css/*.js
Allow: /bitrix/js/*.css
Allow: /bitrix/js/*.js
Allow: *.ttf
Allow: *.woff
Allow: *.woff2

# === SEO Phase 5 Clean-Param BEGIN: 4-я рекомендация Webmaster (redirectRegionId) ===
# Clean-Param для Yandex: исключить дубли с GET-параметром redirectRegionId
# (см. https://yandex.ru/support/webmaster/robot-workings/clean-param.html)
Clean-param: redirectRegionId /
# === SEO Phase 5 Clean-Param END ===
# === Clean-Param служебных параметров Битрикса (19.07.2026) ===
# Обход по счётчикам Метрики притаскивал в индекс /about/?bitrix_include_areas=Y&clear_cache=Y —
# это URL из визита администратора, контент тот же, что у обычной страницы.
Clean-param: bitrix_include_areas&clear_cache&bitrix_show_mode&back_url_admin /
Clean-param: sphrase_id&bxrand /
# === Clean-Param служебных END ===
# === Clean-Param меток проверки и рекламы (22.08.2026) ===
# `_` и `_v` — наши метки обхода кэша при проверках. Сайт их не использует, страница
# по ним та же. Робот узнал о них из визитов Метрики и 21.08.2026 показал семь таких
# адресов в поиске. Склейка, а не запрет: запрет оставил бы их висеть неразобранными.
Clean-param: _&_v&_ts /
# Рекламные метки: содержимое то же, вес должен доставаться чистому адресу.
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content /
Clean-param: yclid&gclid&ymclid&_openstat&etext /
# 28.08.2026: те же наши метки под другими именами. Прежняя склейка их не покрывала,
# и 27.08 восемь таких адресов ВНОВЬ появились в поиске. Проверено: ни докрут gt-ps.ru,
# ни шаблон темы параметров `v`, `c`, `cls`, `_ts` не читают, страница по ним та же.
# Ограничение разделом /catalog/ — имена короткие, глобальная склейка рискованна.
Clean-param: v&c&cls /catalog/
# === Clean-Param меток END ===

Sitemap: https://gt-ps.ru/sitemap.xml

User-Agent: MJ12bot
Disallow: /

User-Agent: AhrefsBot
Disallow: /

User-Agent: dotbot
Disallow: /

User-Agent: SemrushBot
Disallow: /

User-Agent: MegaIndex
Disallow: /

User-agent: Java
Disallow: /

User-agent: NjuiceBot
Disallow: /

User-agent: Gigabot
Disallow: /

User-agent: Scrapy
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: crawler
Disallow: /

User-agent: JS-Kit
Disallow: /

User-agent: HybridBot
Disallow: /

User-agent: Voyager
Disallow: /

User-agent: PostRank
Disallow: /

User-agent: DomainCrawler
Disallow: /

# === SEO Phase 1 BEGIN: AI-боты 2026 (gt-ps.ru) ===
# 18 training-ботов — Disallow (контент НЕ используется для обучения LLM)

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-Crawler
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Google-CloudVertexBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: YouBot
Disallow: /

User-agent: DuckAssistBot
Disallow: /

User-agent: xAI-Bot
Disallow: /

User-agent: MistralBot
Disallow: /

# 7 search-ботов — Allow (видимость в AI-ответах разрешена)

User-agent: OAI-SearchBot
# служебные запреты продублированы: группа * такими ботами не читается
Disallow: /bitrix/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /search/
Disallow: /*/search/
Disallow: /*search.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*index.php
Allow: /

User-agent: ChatGPT-User
# служебные запреты продублированы: группа * такими ботами не читается
Disallow: /bitrix/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /search/
Disallow: /*/search/
Disallow: /*search.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*index.php
Allow: /

User-agent: Claude-SearchBot
# служебные запреты продублированы: группа * такими ботами не читается
Disallow: /bitrix/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /search/
Disallow: /*/search/
Disallow: /*search.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*index.php
Allow: /

User-agent: Claude-User
# служебные запреты продублированы: группа * такими ботами не читается
Disallow: /bitrix/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /search/
Disallow: /*/search/
Disallow: /*search.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*index.php
Allow: /

User-agent: PerplexityBot
# служебные запреты продублированы: группа * такими ботами не читается
Disallow: /bitrix/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /search/
Disallow: /*/search/
Disallow: /*search.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*index.php
Allow: /

User-agent: Perplexity-User
# служебные запреты продублированы: группа * такими ботами не читается
Disallow: /bitrix/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /search/
Disallow: /*/search/
Disallow: /*search.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*index.php
Allow: /

User-agent: YandexAdditionalBot
# служебные запреты продублированы: группа * такими ботами не читается
Disallow: /bitrix/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /search/
Disallow: /*/search/
Disallow: /*search.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*index.php
Allow: /

# === SEO Phase 1 END ===