SEO · 8 min leestijd
Cloudflare blokkeert Googlebot: ik checkte 31 eigen sites
Je merkt dat Googlebot minder leest na een Cloudflare-wijziging. Deze pagina toont direct welke instelling blokkeert en wat je herstelt.
Een IT-beheerder zette bij een klant één schakelaar om in Cloudflare: alle bots eruit. Twee weken lang crawlde Google de site niet meer. De organische posities verdwenen, de Merchant Center-listings verdwenen, en Google Ads bleef ondertussen gewoon doorlopen en factureren. Dat verhaal deelde SEO-consultant Jonathan Bird deze week op LinkedIn, en Barry Schwartz zette het woensdag op Search Engine Roundtable.
Het vervelende eraan is niet de fout zelf. Het is dat je hem niet ziet. Je site is voor jou bereikbaar, je analytics doen niets geks, en de daling begint pas een paar dagen later. Brodie Clark liet een tweede geval zien waarbij de grafiek er precies uitzag als een core update — maar het was gewoon een firewall-regel.
Welke knop het doet
Er is niet één instelling waar dit misgaat, en dat is precies het probleem. Deze vijf halen allemaal Googlebot van je site, en ze zitten in verschillende schermen:
| Waar | Wat het doet | Raakt Googlebot? |
|---|---|---|
| AI Crawl Control, crawler op block | weigert een crawler bij de rand, vóór je server | alleen als je hem zelf op de lijst zet |
| “Blokkeer alle bots”-toggle | weigert álles wat als geautomatiseerd wordt gezien | ja |
| WAF custom rule op land of ASN | challenge of block per herkomst | ja — Googlebot crawlt grotendeels vanuit de VS |
| Managed robots.txt | zet Disallow: / voor genoemde AI-crawlers |
nee, maar wel voor AI-antwoorden |
| Rate limiting | geeft 429 bij te veel verzoeken | ja, bij een grote site |
De derde is de sluipmoordenaar. “Alleen Nederland en België toelaten” klinkt onschuldig als je klanten hier zitten, maar Google crawlt je site niet vanuit Nederland. Zo’n regel werkt alleen goed als je verkeer van geverifieerde bots er expliciet buiten houdt.
Ik heb mijn eigen 31 sites gecheckt
Ik lees dit soort verhalen liever niet alleen. Ik heb woensdag alle 31 domeinen uit mijn eigen portfolio door vier controles gehaald, met een scriptje van vijftig regels:
- homepage opvragen met de user-agent van Googlebot — is het een 200?
- hetzelfde met Bingbot en met Google-InspectionTool (de agent achter de live-test in Search Console)
robots.txtophalen en kijken of er eenDisallow: /onderUser-agent: *staat- meta-robots en de
X-Robots-Tag-header nalopen opnoindex
De losse check die je zelf zo kunt draaien:
curl -s -o /dev/null -w "%{http_code}n"
-A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
https://jouwsite.nl/Alle 31 gaven 200. Daarna heb ik het nog van de andere kant gecontroleerd, want een 200 zegt alleen iets over dit moment: in Search Console de vertoningen per dag van de laatste drie dagen naast het gemiddelde van de veertien dagen daarvoor. Een crawl-blokkade zie je daar als een klif. Geen enkele klif. Prima uitkomst.
Alleen klopte mijn test niet
De machine waar dat script op draait staat in een Duits datacenter. Twee van mijn sites hebben een regel die bezoekers van buiten Nederland, België en Duitsland een challenge geeft. Mijn test kwam dus van binnen het toegestane gebied en zag daar niets van.
Toen ik dezelfde twee verzoeken via een proxy in Oekraïne stuurde, met exact dezelfde Googlebot-user-agent, kreeg ik twee keer een 403. Bij een derde site zonder die regel: 200, vanaf hetzelfde IP.
Die twee sites zijn niet stuk. De echte Googlebot staat op Cloudflares lijst van geverifieerde bots en valt daardoor buiten de regel — Search Console laat voor allebei gewoon duizenden vertoningen per dag zien. Maar mijn controle had het verschil tussen “veilig” en “kapot” helemaal niet kunnen zien. Hij gaf beide keren groen.
Wat ik wél vond
Bij 22 van de 31 sites staat Cloudflares eigen robots.txt-blok nog voorin het bestand, met Disallow: / voor GPTBot, ClaudeBot, CCBot, Google-Extended en een handvol anderen. De firewall-blokkade voor diezelfde bots had ik twee weken eerder al weggehaald, want ik wíl in AI-antwoorden staan.
Dat is dus twee lagen, en ik had er maar één opgeruimd. De regel bij de firewall gaat over wie er binnenkomt; robots.txt gaat over wie het netjes vraagt. De bots die zich aan robots.txt houden — en dat zijn juist de partijen waar je in wil staan — draaiden bij de deur alsnog om. Googlebot raakt dit niet: die staat onder User-agent: * gewoon op Allow. Maar mijn AI-zichtbaarheid stond twee weken langer dicht dan ik dacht.
Zo controleer je het bij jezelf
Vijf dingen, en je bent in tien minuten klaar:
- Vraag je homepage op als Googlebot, vanaf een IP buiten je doelland. Een VPN op een Amerikaanse server is genoeg. Alles behalve 200 is een probleem.
- Draai de live-test in Search Console (URL-inspectie → “Live-URL testen”). Dit is de enige test die écht vanaf Google komt. Staat er “Pagina-fetch mislukt”, dan weet je het meteen.
- Lees je robots.txt van boven naar beneden. Cloudflare zet zijn blok vóór het jouwe, dus wat jij ooit hebt neergezet is niet meer het hele verhaal. Wil je het per crawler nalopen: dat doet onze AI Robots.txt Tester in een paar seconden.
- Loop je WAF-regels langs op landen en op “alle bots”. Zoek naar regels zonder uitzondering voor geverifieerde bots. Die uitzondering hoort in élke geo-regel te staan.
- Kijk in Search Console bij Crawlstatistieken naar de hoststatus. Daar staat of het ophalen van robots.txt en van je pagina’s de laatste 90 dagen is mislukt.
Wil je zien wat een crawler daadwerkelijk van je pagina terugkrijgt, HTML en al, gebruik dan de Bot Vision Inspector. Bij Lovable-sites is dat sowieso de eerste stap, want daar zit vaker een leeg HTML-skelet achter dan mensen denken.
De gouden regel
Elke beveiligingsinstelling die je aanzet, zet je aan voor Googlebot. Er is geen knop met “wel de rotzooi, niet de zoekmachines” — dat verschil moet jij in de regel zelf schrijven, en daarna van buiten je eigen land controleren. Meer dan de helft van het webverkeer komt inmiddels van machines, dus die knoppen ga je gebruiken. Dat aandeel stond in mei op 57,5 procent. Zet er een herinnering bij: na elke wijziging aan je firewall die avond nog even die 200 opvragen.
Veelgestelde vragen
Blokkeert Cloudflare Googlebot standaard?
Nee. Googlebot staat op de lijst van geverifieerde bots en komt bij een standaardconfiguratie gewoon door. Het gaat mis bij regels die je er zelf bij zet, of die iemand anders bij je account zet.
Ik krijg met curl een 403, maar Search Console meldt niets. Wat nu?
Waarschijnlijk niets. Jouw curl liegt over zijn user-agent en komt niet van een Google-IP, dus Cloudflare rekent hem niet tot de geverifieerde bots. Zolang de live-test in Search Console slaagt, komt de echte Googlebot binnen. Google publiceert zijn IP-reeksen als je het zelf wil narekenen.
Hoe lang duurt het voor ik het in mijn posities zie?
In de twee gevallen die deze week rondgingen duurde het dagen, geen uren, en het herstel na de fix duurde weken. Google moet elke pagina opnieuw ophalen voordat hij hem terugzet.
Raakt dit ook mijn Google Ads en Merchant Center?
Ja. In het geval van Jonathan Bird verdwenen de Merchant Center-listings en bleven de advertenties gewoon geld kosten. AdsBot en de Merchant Center-crawler zijn aparte agents; blokkeer je “alle bots”, dan gaan die er ook uit.
Bronnen
- Search Engine Roundtable — Misconfiguring Cloudflare Can Hurt Your SEO Badly, 13 augustus 2026, met de LinkedIn-posts van Jonathan Bird en Brodie Clark
- Cloudflare-documentatie over de managed robots.txt — het blok wordt vóór je eigen bestand geplakt
- Cloudflare AI Crawl Control — waar je per crawler allow of block zet
- Google over het verifiëren van Googlebot — met de gepubliceerde IP-reeksen
- Eigen meting over 31 domeinen, 13 augustus 2026
Hoe je vaststelt of het echt Cloudflare is
Voordat je instellingen gaat omzetten: bewijs eerst dat de blokkade daar zit. Drie stappen, allemaal binnen vijf minuten.
- Haal je pagina op met de Googlebot-user-agent. Krijg je 200 en volledige HTML, dan blokkeert Cloudflare niet op user-agent. Krijg je 403 of een uitdagingspagina, dan wel.
- Doe de URL-inspectie in Search Console en gebruik “Live URL testen”. Die haalt op vanaf Google’s eigen IP-reeksen. Werkt jouw handmatige test wel en deze niet, dan zit de blokkade op IP-niveau.
- Kijk in het Cloudflare-log welke regel de aanvraag tegenhield. Dat is het enige dat zekerheid geeft; de rest is afleiden.
Stap 2 is degene die mensen overslaan, en juist die scheidt een user-agent-blokkade van een IP-blokkade.
Waar het meestal vandaan komt
Vier oorzaken, in volgorde van hoe vaak we ze zien.
| Oorzaak | Waar je kijkt |
|---|---|
| Bot Fight Mode aan | Security, Bots. Deze staat standaard aan en raakt ook legitieme crawlers |
| Een firewallregel op land of ASN | Security, WAF. Blokkeer je een heel land, dan blokkeer je soms ook crawlers |
| Under Attack Mode aan blijven staan | Security-niveau. Bedoeld voor uren, niet voor maanden |
| Rate limiting te scherp | Een crawler die veel pagina’s ophaalt wordt als aanval gezien |
De eerste is verreweg de meest voorkomende, en het vervelende is dat je hem nooit zelf merkt: jij komt gewoon binnen.
Wat er nog meer stilletjes verandert
Cloudflare voegt tegenwoordig zelf een blok toe aan je robots.txt, met een reeks AI-crawlers op disallow. Dat gebeurt zonder dat je iets instelt, en je ziet het alleen als je je eigen robots.txt opvraagt.
Doe dat dus, ook als je zeker weet dat je zelf niets hebt gezet. Wat er staat en welke bots je wel of niet wilt binnenlaten, staat in de AI robots.txt-tester. Googlebot wordt daar niet geraakt, maar de crawlers die je in ChatGPT- en Perplexity-antwoorden brengen mogelijk wel.
