# Langbly zet AI-crawlers bewust OPEN, ook voor modeltraining.
#
# Waarom dit een keuze is en geen slordigheid: de standaard beweegt de andere
# kant op. Cloudflare zet sinds 15 sep 2026 de aanbevolen stand op "Disallow AI
# Training" en schrijft in zijn beheerde robots.txt `ai-train=no`. Voor ons is
# het omgekeerde nuttig. Wij willen juist genoemd en geciteerd worden in
# AI-antwoorden, en daarvoor moet het model ons kennen.
#
# LET OP, dit gaat UITSLUITEND over deze publieke website. Klantinhoud die door
# de vertaal-API gaat wordt niet voor training gebruikt en valt hier niet onder;
# de API-domeinen staan niet achter deze robots.txt en de ingelogde delen
# hieronder zijn uitgesloten.

# ── Content Signals Policy ───────────────────────────────────────────────────
# De machineleesbare vorm van diezelfde keuze (Cloudflare, sep 2026).
#   search    = opnemen in een zoekindex
#   ai-input  = ophalen als bron voor een AI-antwoord (RAG, grounding)
#   ai-train  = gebruiken om een model te trainen of fine-tunen
# Cloudflares eigen standaard is `ai-train=no`. Wij zetten hem expliciet op yes.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /
Disallow: /dashboard/
Disallow: /oauth/
Disallow: /admin
Disallow: /login
Disallow: /signup
Disallow: /reset-password

# ── AI-crawlers, expliciet toegestaan ────────────────────────────────────────
# Eén groep met meerdere User-agent-regels, en niet een losse groep per bot.
# Dat is geen opmaak maar een correctheidskwestie: een crawler die zijn eigen
# naam in robots.txt vindt, negeert de `*`-groep VOLLEDIG. In de oude versie
# stond er per bot alleen `Allow: /`, waardoor precies deze crawlers als enige
# toestemming kregen voor /dashboard/, /login en /admin. Door ze in één groep
# te zetten gelden dezelfde uitsluitingen als voor iedereen.
#
# Deze lijst is aanvullend, geen voorwaarde: een crawler die er niet op staat
# valt onder `*` hierboven en is dus ook welkom. De namen staan erbij omdat
# sommige aanbieders alleen naar hun eigen naam kijken (Google-Extended en
# Applebot-Extended bestaan zelfs uitsluitend voor deze keuze).

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot
User-agent: Amazonbot
User-agent: Bytespider
User-agent: cohere-ai
User-agent: AI2Bot
User-agent: Diffbot
User-agent: Timpibot
User-agent: Webzio-Extended
User-agent: omgilibot
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /
Disallow: /dashboard/
Disallow: /oauth/
Disallow: /admin
Disallow: /login
Disallow: /signup
Disallow: /reset-password

Sitemap: https://langbly.com/sitemap.xml