# Huppa — robots.txt
#
# LET OP: Cloudflare kan een "Managed Content"-blok vóór dit bestand plakken en
# AI-bots bovendien aan de edge blokkeren (403), waardoor onderstaande regels
# genegeerd worden. Zie Cloudflare dashboard → AI Crawl Control + Manage
# robots.txt. Dit bestand is pas leidend als beide uitstaan.
#
# Beleid: AI-zoekbots (die citaties in ChatGPT/Perplexity/Claude opleveren)
# mogen crawlen. AI-trainingsbots niet.

# Content-Signal: expliciete toestemming per gebruiksdoel.
#   search   = klassieke zoekindex
#   ai-input = ophalen als bron voor een AI-antwoord (RAG/grounding) → citaties
#   ai-train = trainen/finetunen van modellen
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /marketing
Disallow: /admin
Disallow: /api/
Disallow: /gast-login
Disallow: /webshop-login

# ---------------------------------------------------------------------------
# AI-zoekbots — TOEGESTAAN. Deze halen de pagina op tijdens een gebruikersvraag
# om Huppa te kunnen citeren. Blokkeren = geen zichtbaarheid in AI-antwoorden.
# De disallows hierboven staan bewust herhaald: een bot met een eigen groep
# negeert de "User-agent: *"-groep volledig.
# ---------------------------------------------------------------------------
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Google-CloudVertexBot
Allow: /
Disallow: /marketing
Disallow: /admin
Disallow: /api/
Disallow: /gast-login
Disallow: /webshop-login

# ---------------------------------------------------------------------------
# AI-trainingsbots — GEBLOKKEERD. Deze scrapen voor modeltraining, niet voor
# citaties; blokkeren kost geen zichtbaarheid.
# ---------------------------------------------------------------------------
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: CCBot
User-agent: Bytespider
User-agent: Amazonbot
User-agent: meta-externalagent
User-agent: FacebookBot
User-agent: Applebot-Extended
User-agent: Google-Extended
User-agent: Diffbot
User-agent: Omgilibot
User-agent: Timpibot
Disallow: /

Sitemap: https://www.huppa.be/sitemap.xml