In 2026 speelt robots.txt nog steeds een enorme rol in SEO. Dit kleine bestand bestaat al sinds 1994 en helpt webmasters te controleren hoe zoekmachines hun sites crawlen.
Het begrijpen van robots.txt is cruciaal voor iedereen die zijn online aanwezigheid wil vergroten. Met de juiste instelling kunnen site-eigenaren privégebieden beschermen terwijl ze hun algehele SEO-strategie verbeteren.
Wat is het doel van een robots.txt-bestand in SEO?
Het doel van een robots.txt-bestand in SEO is om webcrawlers te helpen in hoe ze met een website moeten omgaan. Het vertelt zoekmachines welke secties van een site ze kunnen benaderen en welke gebieden verboden terrein zijn. Deze controle helpt de prestaties van de site te behouden en gevoelige informatie te beschermen.
Door robots.txt correct te configureren, kunnen website-eigenaren beïnvloeden hoe zoekmachines hun content indexeren. Dit kan SEO verbeteren door ervoor te zorgen dat alleen de relevante pagina's worden gecrawld en geïndexeerd. Een goed gestructureerd robots.txt-bestand kan problemen met dubbele content voorkomen en helpen om belangrijke gebieden binnen een website te prioriteren voor betere zichtbaarheid in zoekresultaten.
Het instellen van een robots.txt-bestand
Het aanmaken van een robots.txt-bestand is eenvoudig. Met een paar simpele commando’s geef je crawlers instructies over hoe zij jouw website mogen benaderen.
De belangrijkste richtlijnen zijn:
- User-agent geeft aan voor welke crawler de regel geldt.
- Disallow bepaalt welke delen van de website niet gecrawld mogen worden.
Hieronder volgen enkele eenvoudige voorbeelden die laten zien hoe je de toegang voor crawlers regelt.
Alle bots mogen de volledige website crawlen:
User-agent: * Disallow:
Alle bots mogen de website crawlen, behalve de map ‘keep-out’:
User-agent: * Disallow: /keep-out/
Je kunt ook specifieke crawlers blokkeren:
User-agent: Googlebot Disallow: /
In dit voorbeeld krijgt Googlebot de instructie om geen enkele pagina te crawlen. Dit wordt doorgaans afgeraden, maar het principe is hiermee duidelijk.
Gebruik van wildcards
Zoals in de voorbeelden te zien is, zijn wildcards (*) handig om flexibelere robots.txt-regels te maken. Hiermee kun je in één keer meerdere bots of URL’s aanspreken, zonder alles afzonderlijk te hoeven specificeren.
Controle op paginaniveau
Heb je behoefte aan meer precisie, dan kun je het crawlen ook beperken op paginaniveau. In plaats van een volledige map te blokkeren, kun je afzonderlijke bestanden uitsluiten.
Voorbeeld:User-agent: * Disallow: /keep-out/file1.html Disallow: /keep-out/file2.html
Op deze manier blijven alleen de noodzakelijke pagina’s geblokkeerd en blijft waardevolle content toegankelijk voor zoekmachines.
Commando’s combineren
Voorheen was Disallow de enige beschikbare richtlijn en werd meestal de strengste regel toegepast. Inmiddels is ook Allow toegevoegd, waarmee je veel gerichtere controle krijgt over het crawlgedrag.
Zo kun je bots toestaan om alleen de map ‘important’ te crawlen en alle andere mappen te blokkeren:
User-agent: * Disallow: / Allow: /important/
Je kunt Allow en Disallow ook combineren om specifieke uitzonderingen te maken:
Voorbeeld:User-agent: * Disallow: /private/ Allow: /private/public-file.html
Hiermee blijft een specifiek bestand toegankelijk, terwijl de rest van de map wordt afgeschermd.
Omdat robots.txt standaard alle content toestaat, is het combineren van deze richtlijnen meestal niet nodig. In de meeste gevallen is een eenvoudige configuratie voldoende.
Wanneer geavanceerde configuraties nodig zijn
Soms is een complexere aanpak wel wenselijk. Bijvoorbeeld wanneer URL-parameters worden gebruikt voor kliktracking en het niet mogelijk is om canonieke tags toe te passen. In dat geval kun je robots.txt inzetten om problemen met dubbele content te beperken.
Voorbeeld:User-agent: * Disallow: /*?*
Een ander scenario is wanneer door een foutieve configuratie willekeurige URL’s van lage kwaliteit ontstaan in automatisch aangemaakte mappen. Je kunt dan alle mappen blokkeren en alleen waardevolle content toestaan:
User-agent: * Disallow: / Allow: /essential-content/ Allow: /valuable-content-1/ Allow: /valuable-content-2/
Zo behoud je controle over wat zoekmachines wel en niet indexeren.
Opmerkingen in robots.txt
Opmerkingen zijn een praktische manier om extra uitleg toe te voegen aan een robots.txt-bestand, zodat het voor mensen beter te begrijpen is. Ze hebben geen invloed op het gedrag van crawlers.
Elke opmerking begint met een hekje (#). Bij handmatig beheerde bestanden is het aan te raden om in een opmerking vast te leggen wanneer het bestand is aangemaakt of voor het laatst is aangepast. Dit kan helpen bij het oplossen van problemen, bijvoorbeeld wanneer per ongeluk een oudere versie vanuit een back-up wordt teruggezet.
Voorbeeld:# robots.txt voor www.voorbeeldsite.nl – laatst bijgewerkt op 15-01-2026 User-agent: * #disallowing low-value content Disallow: /bogus-folder/
Crawlsnelheid beheren
Het reguleren van de crawlsnelheid is belangrijk om te voorkomen dat jouw server onnodig zwaar wordt belast en om een efficiënte indexering mogelijk te maken.
Met de richtlijn Crawl-delay kun je aangeven hoeveel tijd er tussen opeenvolgende verzoeken van bots moet zitten.
Voorbeeld:User-agent: * Crawl-delay: 10
In dit geval wordt bots gevraagd om tien seconden te wachten tussen verzoeken. Dit helpt om piekbelasting te voorkomen en zorgt voor een stabiele werking van de website.
Moderne crawlers zijn echter steeds beter in staat om zelf te herkennen wanneer een server overbelast raakt. Daardoor is het instellen van een crawl delay tegenwoordig vaak minder noodzakelijk dan voorheen.
XML-sitemap opnemen
Hoewel Google en Bing bij voorkeur hebben dat XML-sitemaps worden ingediend via Google Search Console en Bing Webmaster Tools, is het nog steeds toegestaan om een link naar de XML-sitemap op te nemen in het robots.txt-bestand.
Dit is niet verplicht, maar het kan geen kwaad en kan in sommige situaties zelfs handig zijn.
Voorbeeld:User-agent: * Disallow: Sitemap: https://www.my-site.com/sitemap.xml
Zorg er bij het toevoegen van een sitemap altijd voor dat je een volledig gekwalificeerde URL gebruikt.
Veelvoorkomende risico’s bij robots.txt
Onjuiste syntaxis
Controleer of alle commando’s juist zijn geschreven en in de juiste volgorde staan. Fouten in de syntaxis kunnen ervoor zorgen dat crawlers jouw instructies verkeerd begrijpen.
Gebruik de robots.txt-tester in Google Search Console (te vinden onder Instellingen) om jouw bestand te controleren op fouten.
Te strikte blokkades
Het blokkeren van te veel pagina’s kan de zichtbaarheid van jouw website in zoekmachines negatief beïnvloeden. Ga daarom zorgvuldig om met Disallow-regels en denk goed na over de gevolgen.
Dit geldt ook voor het blokkeren van bots die worden gebruikt door AI-zoekdiensten. Wanneer je deze bots uitsluit, verklein je de kans dat jouw content wordt meegenomen in door AI gegenereerde antwoorden.
Bots volgen niet altijd de regels
Niet alle crawlers houden zich aan het Robots Exclusion Protocol. Als je last hebt van bots die zich niet aan de regels houden, zijn aanvullende technische maatregelen nodig om deze te weren.
Daarnaast is het belangrijk om te beseffen dat het blokkeren van pagina’s via robots.txt niet garandeert dat ze niet in een index terechtkomen. Google geeft bijvoorbeeld aan dat pagina’s met inkomende links alsnog in de index kunnen verschijnen.
Wil je zeker weten dat een pagina niet wordt geïndexeerd, gebruik dan de noindex-metatag in plaats van robots.txt.
Geen aparte regels nodig voor AI-bots
Een veelgehoorde misvatting is dat AI-crawlers aparte toegangsregels nodig hebben. In de meeste gevallen is dit niet waar.
De meeste AI-bots volgen het Robots Exclusion Protocol. Als jouw robots.txt alle bots toestaat, kunnen zij jouw website crawlen. Blokkeer je alle bots, dan zullen ook AI-crawlers worden geweerd. Extra, specifieke richtlijnen zijn doorgaans niet nodig.
Vind hier meer informatie over het robot.txt bestand.
Belangrijkste punten
- Robots.txt is belangrijk voor SEO. Het helpt te controleren hoe zoekmachines en bots toegang krijgen tot een website. Dit bestand beschermt privégebieden en verbetert de SEO-prestaties.
- Het maken van een robots.txt-bestand is eenvoudig. Belangrijke opdrachten zijn "User-agent" om bots te specificeren en "Disallow" om toegang te beperken. Wildcards kunnen regels vereenvoudigen, waardoor het beheer gemakkelijker wordt.
- Geavanceerde configuraties kunnen specifieke bestanden blokkeren of problemen zoals dubbele content beheren. Het combineren van Allow- en Disallow-opdrachten stelt je in staat tot nauwkeurige controle.
- Het gebruik van opmerkingen helpt bij het begrijpen en versiebeheer. De Crawl-delay-opdracht kan serverbelasting beheren, wat nog steeds handig is, ondanks dat bots vaak zelfregulerend zijn.
- Een link naar een XML-sitemap in robots.txt kan de indexering verbeteren. Veelvoorkomende fouten zijn onder andere onjuiste syntaxis en het overmatig beperken van toegang. Sommige bots volgen mogelijk het protocol niet, dus het gebruik van de noindex-tag is soms beter.
- Het eenvoudig houden van het robots.txt-bestand is meestal het beste, vooral met recente updates.