Robots.txt is een tekstbestand in de hoofdmap van je website dat crawlers vertelt welke delen van je site ze wel en niet mogen bezoeken. Het staat altijd op jouwdomein.nl/robots.txt. Robots.txt stuurt het crawlen, niet het indexeren: een geblokkeerde pagina kan nog steeds in Google verschijnen.
In het kort
- Robots.txt volgt het Robots Exclusion Protocol, sinds september 2022 vastgelegd als internetstandaard RFC 9309.
- Google leest maximaal 500 KiB van het bestand en bewaart het meestal tot 24 uur in de cache (Google Search Central, 2026).
- Voor Google bestaan vier regels: User-agent, Disallow, Allow en Sitemap. Crawl-delay en noindex negeert Google.
- Volgens de Web Almanac 2025 levert 84,9% van de mobiele websites een geldig robots.txt-bestand en geeft 13,2% een 404.
- Wil je een pagina uit Google houden, gebruik dan noindex en geen robots.txt.
Wat is robots.txt?
Het is een openbaar tekstbestand waarmee je als website-eigenaar aangeeft welke URL’s crawlers mogen ophalen. Een crawler is een programma dat pagina’s bezoekt en links volgt, zoals Googlebot of Bingbot.
Het bestand bestaat sinds 1994. Martijn Koster stelde het toen voor om servers te beschermen tegen te veel verzoeken van bots. In 2019 diende Google het in bij de Internet Engineering Task Force en in september 2022 werd het als RFC 9309 gepubliceerd. Het blijft een afspraak: nette crawlers houden zich eraan, maar niets dwingt een bot daartoe.
Drie regels gelden altijd:
- Het bestand staat in de hoofdmap: https://www.jouwdomein.nl/robots.txt. In een submap wordt het niet gelezen.
- Het geldt per host en protocol. Een subdomein zoals shop.jouwdomein.nl heeft een eigen bestand nodig.
- De bestandsnaam is in kleine letters: robots.txt, niet Robots.TXT.
Hoe werkt robots.txt?
Een crawler die zich aan de regels houdt, haalt eerst dit bestand op en bezoekt daarna alleen de toegestane URL’s. Wat er gebeurt als dat ophalen misgaat, hangt af van de statuscode die je server teruggeeft. Google beschrijft dat in zijn specificatie van robots.txt (bijgewerkt oktober 2026):
| Statuscode van robots.txt | Wat Google doet |
|---|---|
| 200 | Leest de regels en volgt ze |
| 3xx (redirect) | Volgt minstens vijf redirects; daarna behandelt Google het als 404 |
| 4xx, behalve 429 | Doet alsof er geen robots.txt is: alles mag gecrawld worden |
| 5xx of 429 | Stopt 12 uur met crawlen van de site en probeert het bestand opnieuw op te halen |
| Na 12 uur nog steeds 5xx | Gebruikt tot 30 dagen de laatst bekende goede versie |
Dit is minder bekend dan het zou moeten zijn. Een 404 op robots.txt is onschuldig: Google crawlt dan gewoon alles. Een server die op dat adres een 500-fout geeft, legt het crawlen van je hele site stil. Krijgt een webshop na een update ineens geen nieuwe producten meer in Google, controleer dan ook de statuscode van dit bestand.
Welke regels kun je in robots.txt gebruiken?
Een robots.txt-bestand bestaat uit groepen. Elke groep begint met een User-agent en daaronder staan de regels voor die crawler.
| Regel | Betekenis | Ondersteund door Google |
|---|---|---|
| User-agent | Voor welke crawler de regels gelden; * betekent alle crawlers | Ja |
| Disallow | Pad dat niet gecrawld mag worden | Ja |
| Allow | Uitzondering binnen een geblokkeerd pad | Ja |
| Sitemap | Volledige URL van je XML-sitemap | Ja |
| * in een pad | Nul of meer willekeurige tekens | Ja |
| $ aan het eind | Einde van de URL | Ja |
| # | Commentaar voor mensen, wordt genegeerd | Ja |
| Crawl-delay | Wachttijd tussen verzoeken | Nee, wel door Bing en Yandex |
| Noindex | Pagina niet indexeren | Nee, sinds 1 september 2019 niet meer |
Let op hoofdletters: de naam van een regel mag in hoofd- of kleine letters, maar het pad is hoofdlettergevoelig. Disallow: /Blog/ blokkeert dus niet /blog/.
Welke regel wint bij een conflict?
Google kiest de meest specifieke regel, gemeten aan de lengte van het pad. Zijn twee regels even specifiek, dan kiest Google de minst beperkende. In dit voorbeeld mag Googlebot /diensten/seo/ wel crawlen, omdat de Allow-regel langer is:
User-agent: *
Disallow: /diensten/
Allow: /diensten/seo/Andere crawlers lezen het bestand soms van boven naar beneden en volgen de eerste regel die past. Houd je bestand daarom zo eenvoudig mogelijk.
Hoe ziet een goede robots.txt eruit?
Een goed bestand voor een mkb-website is kort. Blokkeer alleen wat geen waarde heeft voor zoekmachines en verwijs naar je sitemap:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /winkelwagen/
Disallow: /*?s=
Sitemap: https://www.jouwdomein.nl/sitemap_index.xmlDit voorbeeld houdt crawlers weg uit de beheeromgeving van WordPress, de winkelwagen en interne zoekresultaten. Die laatste kunnen eindeloos veel URL’s opleveren zonder unieke inhoud. Meer over het maken en indienen van een sitemap lees je in ons aparte artikel.
Blokkeer nooit CSS- en JavaScript-bestanden. Google heeft die nodig om je pagina te renderen en te beoordelen of hij goed werkt op mobiel.
Wat is het verschil tussen robots.txt en noindex?
Robots.txt zegt “kom hier niet”, noindex zegt “kom kijken, maar zet deze pagina niet in de zoekresultaten”. Google schrijft letterlijk dat robots.txt geen manier is om een pagina uit Google te houden (bijgewerkt december 2025). Als andere sites naar een geblokkeerde pagina linken, kan de URL toch in de resultaten verschijnen, alleen zonder beschrijving.
Combineer ze ook niet. Staat een pagina met noindex in robots.txt geblokkeerd, dan ziet Googlebot de noindex nooit. Hoe Google beslist wat in de index komt, lees je in ons artikel over indexering.
| Doel | Gebruik |
|---|---|
| Crawlers weghouden van onbelangrijke URL’s | Robots.txt |
| Pagina uit de zoekresultaten houden | Noindex-tag of X-Robots-Tag |
| Gevoelige informatie afschermen | Wachtwoord of inlog, nooit robots.txt |
| Dubbele versies samenvoegen | Canonical tag |
Wat doet robots.txt met AI-crawlers?
Met hetzelfde bestand bepaal je ook of crawlers van AI-diensten je site mogen lezen, want de bekende aanbieders hebben eigen user-agents. Het gebeurt nog weinig: volgens de Web Almanac 2025 noemt 4,2% van de mobiele sites GPTBot bij naam en 3,4% ClaudeBot. Cloudflare meldde in 2025 dat maar 37% van de 10.000 grootste websites in zijn netwerk überhaupt een robots.txt had.
De belangrijkste keuze is het verschil tussen trainingscrawlers en zoekcrawlers. Blokkeer je alles uit voorzorg, dan verdwijn je ook uit AI-zoekantwoorden. Welke crawler waarvoor dient en wat je per bot instelt, zetten we op een rij in ons artikel over llm seo.
Hoe maak, wijzig en test je robots.txt?
Je maakt het bestand in een gewone teksteditor, slaat het op als UTF-8 en zet het in de hoofdmap van je website. Veel systemen regelen het voor je:
- WordPress maakt automatisch een virtueel robots.txt-bestand. Via de bestandseditor van een SEO-plugin zoals Yoast SEO kun je het aanpassen.
- Shopify levert een standaardbestand dat je via het thema-sjabloon robots.txt.liquid kunt uitbreiden.
- Wix en andere bouwers bieden een robots.txt-editor in de SEO-instellingen.
Testen doe je in Google Search Console. Het robots.txt-rapport onder Instellingen toont welke versie Google het laatst ophaalde en of er fouten in staan. Met URL-inspectie zie je per pagina of die door robots.txt geblokkeerd wordt. Controleer na elke wijziging ook of Google je pagina’s nog goed kan renderen; een trage server remt het crawlen, dat meet je met pagespeed insights.
Houd rekening met de cache. Omdat Google het bestand tot 24 uur bewaart, zie je het effect van een wijziging niet direct.
Welke fouten in robots.txt zien we het vaakst?
Een fout in dit bestand is snel gemaakt en kan veel verkeer kosten. Dit zijn de valkuilen die bij mkb-websites steeds terugkomen:
- Disallow: / na livegang. De testomgeving was afgeschermd voor alle crawlers en die regel gaat mee naar de live site. Eén teken blokkeert dan je hele website.
- Robots.txt gebruiken om pagina’s te verbergen. Het bestand is openbaar en iedereen kan zien welke mappen je afschermt.
- Te ruime regels. Disallow: /de blokkeert ook /dekking/ en /dealers/. Gebruik een afsluitende slash: Disallow: /de/.
- Hoofdletters vergeten. /Admin/ en /admin/ zijn voor crawlers verschillende paden.
- CSS en JavaScript blokkeren. Google kan je pagina dan niet goed renderen.
- Een serverfout op robots.txt. Een 5xx-status legt het crawlen stil, ook als de rest van je site werkt.
- Een relatieve sitemap-URL. De Sitemap-regel vraagt om een volledig adres met https:// en domeinnaam, niet alleen /sitemap.xml.
- Een te groot bestand. Alles na 500 KiB negeert Google. Lange lijsten met losse URL’s vervang je beter door één regel met een wildcard.
Wat betekent robots.txt voor jouw website?
Voor de meeste mkb-websites hoort het bestand kort en saai te zijn: niets belangrijks blokkeren, een verwijzing naar de sitemap en hooguit een paar regels voor beheer- en zoekpagina’s. Het bestand is een klein onderdeel van technische seo, maar wel een met grote gevolgen als het misgaat.
FellMedia uit ’s-Gravenzande neemt sinds 2014 de website en de SEO van mkb-bedrijven uit handen, inclusief de technische basis zoals robots.txt, sitemap en indexering. Wil je zeker weten dat Google en AI-diensten jouw belangrijke pagina’s kunnen bereiken? Laat een SEO-audit doen of plan direct een strategiecall: Binnen 90 dagen vindbaar & zichtbaar.
Veelgestelde vragen
Wat is robots.txt?
Robots.txt is een tekstbestand in de hoofdmap van een website dat crawlers vertelt welke URL’s ze wel en niet mogen bezoeken. Het volgt het Robots Exclusion Protocol, dat sinds 2022 is vastgelegd als RFC 9309. Het regelt het crawlen, niet het indexeren.
Is een robots.txt-bestand verplicht?
Nee, een robots.txt-bestand is niet verplicht. Zonder bestand, of bij een 404, gaat Google ervan uit dat alles gecrawld mag worden. Een kort bestand met een verwijzing naar je sitemap is wel aan te raden.
Wat betekent “Geblokkeerd door robots.txt” in Search Console?
Die melding betekent dat Googlebot een URL niet mocht crawlen door een Disallow-regel. Is het een pagina die gevonden moet worden, pas dan de regel aan en vraag via URL-inspectie opnieuw om indexering.
Houdt robots.txt een pagina uit Google?
Nee. Een geblokkeerde pagina kan nog in de zoekresultaten verschijnen als andere pagina’s ernaar linken. Gebruik een noindex-tag om een pagina uit Google te houden en zorg dat die pagina niet in robots.txt geblokkeerd is.
Houden alle bots zich aan robots.txt?
Nee. Googlebot, Bingbot en de bekende AI-crawlers volgen de regels, maar kwaadaardige bots en scrapers negeren het bestand vaak. Voor echte afscherming heb je een wachtwoord, een firewall of serverregels nodig.
Laatst bijgewerkt: 4 november 2026. Door Martin Vellinga, FellMedia.
SEO-specialist en oprichter van FellMedia. Werkt aan vindbaarheid met data, heldere inhoud en oog voor jouw bedrijf.
Meer over Martin →