ZichtbaarheidsbasisWelke AI-crawlers laat je toe, en wat kost blokkeren je?

Omdat stap één een zoekopdracht is. Wat er in stap twee en drie gebeurt, kan alleen met bronnen die in stap één naar boven zijn gekomen.

Daarmee is de rangorde van je inspanningen vrij duidelijk. Zorg eerst dat je vindbaar bent in gewone zoekmachines. Zorg daarna dat je tekst makkelijk te citeren is. Dat is een andere volgorde dan veel aanbieders op dit moment verkopen.

Ik ken geen enkele aanbieder die publiek heeft gedocumenteerd hoe bronnen precies worden gekozen. Iedereen die je een exact recept geeft, vult het gat met een aanname. Dat mag, zolang het er eerlijk bij staat.

Er zijn drie samenhangende posities. Ze verschillen niet in techniek maar in wat je ermee wint en verliest.

• Open. Zoeken, ophalen op verzoek van een gebruiker én training toestaan. Maximale kans om genoemd en geciteerd te worden.
• Zoeken ja, training nee. De zoekindexen en de ophalers toelaten, de trainingscrawlers weigeren. AI kan je tekst nog steeds live aanhalen, maar hij wordt niet in een model verwerkt.
• Dicht voor AI. Alles weigeren wat AI heet.

Ik zou open kiezen, ook als je product zelf content is. Dat is een inschatting in een onzekere tijd, geen vaststaand feit, dus hier is de redenering zodat je er zelf iets van kunt vinden.

Naar mijn idee wordt je content toch wel opgehaald, of je het beschermt of niet. Als dat klopt, dan is de vraag niet of het gebeurt maar wat je er nog uit haalt zolang het kan. En er zit een concurrentiekant aan die zwaarder weegt dan de principiële: blokkeer jij terwijl je concurrent dat niet doet, dan wordt hij genoemd en jij niet. Hij bouwt bekendheid op in precies het kanaal waar jij je uit hebt teruggetrokken.

Zoeken ja en training nee is verdedigbaar. Het is ook de optie waarbij je het meeste moet uitleggen aan jezelf, want je weigert iets waarvan je niet kunt controleren of het geweigerd wordt, en je levert wel iets in.

Dicht voor AI zou ik niemand aanraden die gevonden wil worden. Dan zeg je nee tegen de zoekindexen van ChatGPT, Perplexity en Claude, en dat zijn de plekken waar steeds meer mensen hun vraag beginnen.

Dit is het deel dat het vaakst wordt overgeslagen. robots.txt is een verzoek. Nette crawlers houden zich eraan, andere niet, en je hebt geen enkele manier om het te handhaven.

Dat is geen vermoeden. Cloudflare heeft het getest en gepubliceerd. Ze zetten nieuwe, ongepubliceerde testdomeinen op met een robots.txt die alle geautomatiseerde toegang verbood, en stelden Perplexity daarna vragen over die domeinen. Wat ze vonden: naast de aangekondigde Perplexity-User ook een niet-aangekondigde crawler met een gewone Chrome-op-macOS-identiteit, via IP-adressen buiten hun eigen officiële reeksen. Volgens Cloudflare ging het om tienduizenden domeinen en miljoenen verzoeken per dag.

Cloudflare zegt er zelf over dat robots.txt "website directives and preferences" uitdrukt, dus voorkeuren en geen bindende regels.

Bij sommige robots werkt het per definitie niet. ChatGPT-User haalt een pagina op omdat een gebruiker daar op dat moment om vraagt, en dat soort verzoeken vallen niet betrouwbaar onder je robots-regels.

Wat betekent dat voor je keuze? Als blokkeren deels een signaal is en niet deels maar geheel afhankelijk van de goede wil van de ander, dan koop je er minder bescherming mee dan de moeite suggereert. Wil je iets echt dichthouden, dan hoort het achter een login of het hoort er niet te staan. Daar is robots.txt het verkeerde gereedschap voor.

Bron: Cloudflare over niet-aangekondigde crawlers, 4 augustus 2025.

De andere kant van dezelfde keuze. Als je besluit de deur open te zetten, zorg dan dat er iets te halen valt dat op zichzelf staat.

Er wordt geciteerd per tekstfragment, niet per pagina. Een alinea die los te begrijpen is, wordt gebruikt. Een alinea waarin het antwoord pas in de vierde zin staat, niet. Dat is dezelfde regel als in de basis: antwoord vooraan, één bewering per alinea, met het bewijs in diezelfde alinea.

Je zult dit verkocht zien worden als extractability. Het idee eronder is juist en het is niet nieuw. Wees wel voorzichtig met de cijfers die eraan hangen. Ik vond voor die term uitsluitend bureaus, toolaanbieders en glossarysites als bron, geen documentatie van een aanbieder en geen onafhankelijk onderzoek. Er circuleert bijvoorbeeld een citatiepercentage voor de ene schrijfstijl tegen de andere, zonder dat er een controleerbare meting bij staat.

Dat maakt het advies niet fout. Het maakt de precisie verdacht. Doe het omdat het logisch is en omdat het je tekst ook voor mensen beter maakt, niet omdat er een percentage bij staat.