Gratis tool · 8 AI-bots · geen account
AI Robots.txt Tester
Vibe coders weten vaak niet dat GPTBot (AI-training) iets anders is dan OAI-SearchBot (ChatGPT-search). Plak je URL en zie per AI-bot of die jouw content mag crawlen — en of dat is wat je wilt.
Wat deze tool checkt
8 crawlers, in 3 seconden.
- Googlebot — Google’s primaire crawler voor zoekresultaten.
- Google-Extended — AI-trainings-bot voor Gemini. Aparte van Googlebot.
- OAI-SearchBot — OpenAI’s bot voor ChatGPT search met bron-citaten.
- GPTBot — OpenAI’s training-crawler. Block om buiten training-data te blijven.
- PerplexityBot — Perplexity AI’s antwoord-engine. Citeert met links.
- ClaudeBot — Anthropic’s crawler (Claude).
- CCBot — Common Crawl, gebruikt door veel AI-modellen.
- Bingbot — Microsoft Bing, ~5-10% NL search-share.
Wat te doen met het resultaat
Search-bots toelaten, training-bots overwegen.
Een goed afgestelde robots.txt voor 2026: Allow voor search-crawlers (Googlebot, OAI-SearchBot, PerplexityBot, Bingbot) zodat je in zoekresultaten verschijnt. Block voor training-crawlers (GPTBot, ClaudeBot, Google-Extended, CCBot) als je niet wilt dat je content in AI-modellen wordt verwerkt.
Complete uitleg met copy-paste-voorbeelden: AI Overviews gids. Voor de bredere SEO-fundering: 38-punts checklist. Alle artikelen over AI-crawlers, AI Overviews en machineverkeer staan in de categorie AI-seo.
Mag je AI-bots weigeren?
Ja. Robots.txt is geen wet maar een afspraak, en het staat je vrij om er iets in te zetten. De grote partijen houden zich eraan: OpenAI, Anthropic, Google en Perplexity documenteren allemaal welke user-agent ze gebruiken en respecteren een disallow. Wat je er niet mee tegenhoudt zijn scrapers die zich niet bekendmaken; daar heb je een firewallregel voor nodig, geen tekstbestand.
Het bestand zelf is dus volkomen legitiem. Het omgekeerde ook: een bot buitensluiten is geen sabotage, het is een keuze over wie jouw werk mag gebruiken.
De bots die ertoe doen, en wat ze doen
Het verwarrende punt: één aanbieder heeft vaak meerdere bots met verschillende doelen. Blokkeer je de verkeerde, dan verlies je zichtbaarheid die je wilde houden.
| Bot | Van | Waarvoor |
|---|---|---|
| GPTBot | OpenAI | training van modellen |
| OAI-SearchBot | OpenAI | de zoekindex achter ChatGPT-antwoorden |
| ChatGPT-User | OpenAI | ophalen van een pagina op verzoek van een gebruiker |
| Google-Extended | training en grounding van Gemini | |
| Googlebot | gewone zoekresultaten én AI Overviews | |
| ClaudeBot | Anthropic | training |
| PerplexityBot | Perplexity | de index achter Perplexity-antwoorden |
Daar zit de belangrijkste nuance van dit hele onderwerp: Googlebot voedt ook de AI Overviews. Google-Extended blokkeren kost je dus geen AI Overviews. En wie wél in ChatGPT genoemd wil worden moet OAI-SearchBot binnenlaten, niet per se GPTBot.
Wat een verstandige instelling is
Voor de meeste Nederlandse sites die klanten willen:
- Binnenlaten: Googlebot, Bingbot, OAI-SearchBot, ChatGPT-User, PerplexityBot. Dat zijn de bots die je in antwoorden brengen.
- Zelf beslissen: GPTBot, ClaudeBot, Google-Extended. Die trainen modellen. Weigeren kost je vandaag geen zichtbaarheid, maar ook geen voordeel.
- Weigeren: scrapers zonder duidelijk doel, zoals Bytespider en CCBot, tenzij je een reden hebt om ze te willen.
Let op als je site achter Cloudflare staat: die zet tegenwoordig zelf een blok in je robots.txt, met een reeks AI-bots op disallow. Dat gebeurt zonder dat je er iets voor doet, en je ziet het pas als je je eigen robots.txt opvraagt. Doe dat dus, ook als je zeker weet dat je zelf niets hebt ingesteld.