# robots.txt для el-sozduk.kg
# Отдаётся Django по адресу /robots.txt (маршрут robots_txt в config/urls.py).

# Поисковые, ИИ-поисковые и социальные роботы: сайт открыт,
# закрыты только служебные адреса выдачи и API.
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Bingbot
User-agent: YandexBot
User-agent: Applebot
User-agent: DuckDuckBot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: facebookexternalhit
User-agent: Twitterbot
User-agent: TelegramBot
User-agent: WhatsApp
User-agent: LinkedInBot
User-agent: Mediapartners-Google
User-agent: AdsBot-Google
Allow: /
Disallow: /search/
Disallow: /api/
Disallow: /result-poisk-perevodov/
Disallow: /rasshirennyy-poisk-perevodov/

# Сбор текстов для обучения моделей — запрещён.
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Disallow: /

# Все остальные роботы.
User-agent: *
Disallow: /

Sitemap: https://el-sozduk.kg/sitemap.xml