ZichtbaarheidsbasisWelke AI-crawlers laat je toe, en wat kost blokkeren je?
Mijn advies: laat ze allemaal toe. Niet omdat het niet uitmaakt, maar omdat blokkeren je minder oplevert en meer kost dan je denkt. Hieronder staat waarom, wat de alternatieven zijn en een robots.txt die je kunt kopiëren.
Om die keuze goed te maken, moet je weten wat die crawlers doen. Dat begint bij hoe een AI-antwoord ontstaat: eerst wordt er gezocht, daarna geschreven. Sta je niet in de index waarin gezocht wordt, dan sta je ook niet in het antwoord.
Wat gebeurt er tussen vraag en antwoord?
Drie stappen: zoeken, onderbouwen en schrijven. Het model verzint het antwoord niet uit zichzelf. Het krijgt materiaal aangereikt en vat dat samen.
- Zoeken. Je vraag wordt omgezet in een of meer zoekopdrachten. Soms in de eigen index van de aanbieder, soms in die van een zoekmachine.
- Onderbouwen. De gevonden pagina's worden in stukken geknipt, en de stukken die het best aansluiten gaan mee als context. Dit heet grounding.
- Schrijven. Het model formuleert een antwoord op basis van die stukken en zet er verwijzingen bij.
De praktische les zit in stap twee. Er wordt per stuk tekst aangehaald, niet per pagina. Je concurreert dus niet met je hele artikel, maar met de alinea die het beste antwoord geeft.
Waarom maakt gewone SEO nog steeds het meeste uit?
Omdat stap één een zoekopdracht is. Alleen wat daar naar boven komt, kan in stap twee en drie worden gebruikt.
Daarmee ligt de volgorde van je werk vast. Eerst zorg je dat je vindbaar bent in gewone zoekmachines. Daarna zorg je dat je tekst makkelijk aan te halen is. Veel aanbieders verkopen het op dit moment andersom.
Geen enkele AI-aanbieder heeft openbaar gedocumenteerd hoe bronnen precies worden gekozen. Wie je een exact recept geeft, vult dat gat met een aanname. Dat mag, zolang het erbij staat.
Waarom moet je site zonder JavaScript werken?
Omdat de meeste AI-crawlers, voor zover bekend, weinig of geen JavaScript uitvoeren. Wat pas na het laden door een script op de pagina verschijnt, bestaat voor hen dan niet.
Geen enkele aanbieder publiceert hoe ver zijn crawler hierin gaat. Behandel het dus als aanname, niet als feit. Gelukkig kun je het zelf controleren: zet JavaScript uit in je browser en laad je belangrijkste pagina opnieuw. Wat je dan niet ziet, is het deel waarvan je niet zeker weet of het meetelt.
Deze website gebruikt bewust geen enkele regel JavaScript in de browser. Alles staat gewoon in de HTML.
Welke keuzes heb je, en welke zou ik maken?
Drie: open, zoeken ja en training nee, of dicht voor AI. Ik zou open kiezen. Ze verschillen niet in techniek, maar in wat je ermee wint en wat je inlevert.
| Positie | Wat je toelaat | Wat je ermee wint | Wat je inlevert |
|---|---|---|---|
| Open | Zoekindexen, ophalers op verzoek en trainingscrawlers | De grootste kans om genoemd en aangehaald te worden | Zeggenschap over hergebruik van je tekst, die robots.txt je toch maar deels gaf |
| Zoeken ja, training nee | Zoekindexen en ophalers op verzoek; geen trainingscrawlers | AI kan je tekst live aanhalen, maar hij gaat niet in een model | Je ontbreekt in toekomstige trainingsdata; ik verwacht dat je daardoor steeds minder relevant wordt |
| Dicht voor AI | Niets wat met AI te maken heeft | Je tekst blijft buiten AI, voor zover crawlers zich eraan houden | Geen vermelding meer in de zoekresultaten van ChatGPT, Perplexity en Claude |
Ik kies open, trainingscrawlers inbegrepen, ook als je product zelf tekst is. Dat is een inschatting in een onzekere tijd, geen vaststaand feit. Daarom hier de redenering, zodat je er zelf iets van kunt vinden.
Mijn inschatting is dat je tekst hoe dan ook wordt opgehaald, of je hem afschermt of niet. Klopt dat, dan is de vraag niet óf het gebeurt, maar wat je er nog aan hebt zolang het kan. Belangrijker vind ik de concurrentie. Blokkeer jij en je concurrent niet, dan wordt hij genoemd en jij niet. Hij bouwt naamsbekendheid op in precies het kanaal waar jij je uit hebt teruggetrokken.
Zoeken ja en training nee is verdedigbaar, maar ik raad het af. Mijn verwachting is dat je dan steeds minder relevant wordt: wat niet in trainingsdata zit, kent een model op termijn minder goed. En je weigert iets waarvan je niet eens kunt controleren of de weigering wordt nageleefd.
Dicht voor AI zou ik niemand aanraden die gevonden wil worden. Je zegt dan nee tegen de zoekindexen van ChatGPT, Perplexity en Claude, en daar beginnen steeds meer mensen hun zoektocht.
Een robots.txt die je kunt kopiëren
Voor de open keuze is hij kort. Dit is in de kern wat er op deze website staat.
# Iedere crawler is welkom.
User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xmlKies je voor zoeken ja en training nee, dan geef je de trainingscrawlers een eigen groep. Een crawler zoekt de groep met zijn eigen naam en volgt alleen die. Heeft hij geen eigen groep, dan volgt hij de groep met de asterisk. De volgorde van de groepen maakt daarbij niet uit.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xmlTwee dingen gaan hier vaak mis. Blokkeer nooit Googlebot: dan verdwijn je uit Google en daarmee ook uit AI Overviews. En Google-Extended is geen crawler. Er komt nooit iets langs onder die naam. Het is een schakelaar voor wat Google mag doen met pagina's die Googlebot al heeft opgehaald. Voor Applebot-Extended geldt hetzelfde bij Apple. Dat maakt ze niet minder nuttig, wel anders dan de rest van dit lijstje.
Welke crawler wat doet, staat in de tabel in de zichtbaarheidsbasis, met de documentatie van elke aanbieder erbij.
Houden crawlers zich aan je robots.txt?
Nette crawlers wel, andere niet: robots.txt is een signaal, geen muur. Het is een verzoek, en je hebt geen enkele manier om het af te dwingen.
Dat is geen vermoeden. Cloudflare heeft het getest en de resultaten gepubliceerd. Ze maakten nieuwe testdomeinen aan die nog nergens te vinden waren, met een robots.txt die alle geautomatiseerde toegang verbood. Daarna stelden ze Perplexity vragen over die domeinen. Naast de aangekondigde Perplexity-User vonden ze een crawler die zich niet bekendmaakte. Die deed zich voor als een gewone Chrome-browser op macOS en kwam van IP-adressen buiten de officiële reeksen van Perplexity. Volgens Cloudflare ging het om tienduizenden domeinen en miljoenen verzoeken per dag.
Cloudflare zegt er zelf over dat robots.txt "website directives and preferences" uitdrukt: voorkeuren, geen bindende regels.
Bij sommige crawlers werkt het per definitie niet. ChatGPT-User haalt een pagina op omdat een gebruiker er op dat moment om vraagt, en zulke verzoeken vallen niet betrouwbaar onder je robots-regels.
Wat betekent dat voor je keuze? Blokkeren werkt alleen bij crawlers die zich eraan willen houden. Je koopt er dus minder bescherming mee dan de moeite doet vermoeden. Wil je iets echt afschermen, zet het dan achter een inlog, of zet het niet online. Daarvoor is robots.txt het verkeerde gereedschap.
Bron: Cloudflare over niet-aangekondigde crawlers, 4 augustus 2025.
Kun je uit AI Overviews stappen?
Niet via robots.txt. Het is een dure misvatting: er gaat werk in zitten dat niets oplevert.
AI Overviews worden gebouwd op de gewone zoekindex van Google, en die wordt gevuld door Googlebot. Wil je uit AI Overviews, dan moet je Googlebot weigeren, en dan verdwijn je ook uit de gewone zoekresultaten. Dat wil niemand.
Google-Extended blokkeren helpt ook niet: dat gaat over Gemini, niet over AI Overviews. Google schrijft het zelf: "Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search."
De enige echte schakelaars zijn nosnippet en max-snippet. Alleen werken die ook op je gewone zoekresultaat: ze maken het stukje tekst onder je link kleiner of halen het weg. Je levert dan zichtbaarheid in de zoekresultaten in voor iets minder tekst in een AI-antwoord. Voor vrijwel iedereen is dat een slechte ruil.
Bron: Google over zijn crawlers.
Waarom wordt tekst die op zichzelf staat vaker gebruikt?
Omdat AI-diensten per stuk tekst aanhalen, niet per pagina. Het is de andere kant van dezelfde keuze: zet je de deur open, zorg dan dat er iets te halen valt.
Een alinea die los te begrijpen is, wordt gebruikt. Een alinea waarin het antwoord pas in de vierde zin staat, niet. Het is dezelfde regel als in de basis: antwoord vooraan, één bewering per alinea, met het bewijs in dezelfde alinea.
Je zult dit verkocht zien worden als extractability. Het idee klopt en het is niet nieuw. Wees wel voorzichtig met de cijfers die eraan hangen. Voor die term vond ik alleen bureaus, toolaanbieders en woordenlijsten als bron, geen documentatie van een AI-aanbieder en geen onafhankelijk onderzoek. Zo circuleert er een cijfer over hoeveel vaker de ene schrijfstijl wordt aangehaald dan de andere, zonder dat er een controleerbare meting bij staat.
Dat maakt het advies niet fout. Het maakt de precisie verdacht. Doe het omdat het logisch is en omdat je tekst er ook voor mensen beter van wordt, niet omdat er een percentage bij staat.
Wat doe je hiermee?
Vier dingen, in deze volgorde.
- Kijk wat er nu in je
robots.txtstaat. Vaak heeft iemand er jaren geleden iets in gezet wat niemand meer begrijpt. - Kies een van de drie posities en schrijf op waarom. Kun je het niet uitleggen, dan is het geen keuze maar een instelling.
- Zet het antwoord vooraan onder elke kop, zodat elk stuk tekst op zichzelf te begrijpen is.
- Blijf bouwen aan gewone vindbaarheid. Daar bereik je nog steeds het meeste mee.
Dit artikel hoort bij de online zichtbaarheidsbasis, waarin de hele basis op een rij staat. Wil je het niet zelf doen, dan valt het onder wat ik doe bij SEO en AI-vindbaarheid.
Houd het wel in verhouding. Een goede robots.txt zorgt dat je gevonden kúnt worden. Of mensen daarna voor je kiezen, hangt af van wat je aanbiedt.
Weet je niet wat er in je robots.txt staat?
Stuur me je website en wat je wilt bereiken. Je hoort van me of je huidige instelling daarbij past, en zo niet, wat ik zou veranderen.
Dominique@framvekst.noJe krijgt binnen drie werkdagen een reactie.
Bekijk mijn contactgegevens