De manier waarop mensen online informatie zoeken verandert snel. Naast Google gebruiken steeds meer mensen AI-systemen om antwoorden, bedrijven en bronnen te vinden. Daardoor ontstaat een nieuwe vraag voor website-eigenaren: kan AI jouw website eigenlijk wel bereiken en lezen?
Een goede SEO-strategie draait daarom niet meer uitsluitend om zichtbaarheid in zoekmachines. Ook de technische toegankelijkheid voor AI-crawlers wordt steeds belangrijker.
AI-zichtbaarheid begint bij crawlbaarheid
Voordat een AI-systeem informatie van je website kan gebruiken, moet een crawler de pagina kunnen bereiken. Een belangrijke crawler binnen het ecosysteem van open webdata is CCBot van Common Crawl. Common Crawl verzamelt op grote schaal webpagina’s en stelt deze gegevens beschikbaar voor onderzoek en de ontwikkeling van datasets. De gegevens kunnen vervolgens onderdeel worden van verschillende trainingsdatasets voor AI-modellen.
Wordt een crawler geblokkeerd? Dan kan je website ontbreken in een deel van deze databronnen. Dat betekent niet automatisch dat je website daardoor uit alle AI-systemen verdwijnt, maar het kan wel invloed hebben op de manier waarop je content beschikbaar komt.
Controleer robots.txt
Een eerste stap is het controleren van je robots.txt-bestand. Hierin kun je aangeven welke crawlers toegang krijgen tot bepaalde delen van je website.
Het probleem is dat een blokkade niet altijd bewust door een website-eigenaar wordt ingesteld. Een CMS, plugin of ander platform kan automatisch regels toevoegen. Ook bepaalde CDN- en beveiligingsinstellingen kunnen AI-crawlers tegenhouden.
Controleer daarom regelmatig of je robots.txt nog overeenkomt met je eigen beleid. Kijk daarbij niet alleen naar Googlebot, maar ook naar relevante AI-crawlers.
Kijk verder dan robots.txt
Een website kan een ogenschijnlijk correcte robots.txt hebben en toch moeilijk toegankelijk zijn voor een crawler. Een firewall of Web Application Firewall kan bijvoorbeeld een crawler blokkeren of een extra controle laten uitvoeren.
Daarom is het verstandig om niet alleen naar de instellingen op je server te kijken. Controleer ook de configuratie van je CDN en beveiligingssoftware. Een blokkade aan de rand van je infrastructuur zie je namelijk niet altijd terug in robots.txt.
Zorg voor technisch toegankelijke content
Ook de manier waarop je website content aanbiedt, speelt een rol. Sommige crawlers voeren JavaScript niet uit. Wanneer belangrijke tekst pas na het laden van JavaScript verschijnt, kan een crawler daardoor weinig of geen bruikbare content zien.
Zorg daarom waar mogelijk dat belangrijke informatie al in de HTML van de pagina staat. Denk aan teksten, koppen, productinformatie, antwoorden op veelgestelde vragen en andere essentiële content.
Een sitemap helpt crawlers op weg
Een actuele XML-sitemap blijft eveneens belangrijk. Hiermee geef je crawlers een overzicht van de URL’s die op je website beschikbaar zijn. Zorg dat de sitemap actueel is en dat belangrijke pagina’s erin staan.
Daarnaast blijft het verkrijgen van relevante externe links waardevol. Volgens de besproken analyse speelt de verbondenheid van een website met de rest van het web een rol bij de crawlprioriteit binnen Common Crawl.
SEO wordt steeds technischer
AI-zichtbaarheid betekent niet dat traditionele SEO verdwijnt. Integendeel. Een technisch goed bereikbare website, duidelijke content, interne links, een actuele sitemap en relevante externe verwijzingen vormen samen een sterke basis.
Wie wil dat zijn content niet alleen door zoekmachines, maar ook door nieuwe AI-systemen wordt gevonden, doet er daarom goed aan om crawlbaarheid als onderdeel van de bredere SEO-strategie te behandelen. Controleer regelmatig welke crawlers toegang hebben, hoe je CDN is ingesteld en of belangrijke content daadwerkelijk zonder extra technische obstakels kan worden gelezen.