Eerder is geprobeerd de waarde van PageRank vast te stellen. Geluiden kwamen boven dat een hoge Pagerank goed staat, maar dat het nut niet bijzonder groot is. Onlangs heeft Matt Cutts in een interview het verband gelegd tussen PageRank en het crawlen van Googlebot. Eens kijken wie zijn/haar mening over Pagerank kan herzien.
De waarde van PageRank begint met ‘The Crawl’ van Googlebot. Om te beginnen is het niet zo dat een website de eerste keer wordt bekeken en opgeslagen zodat het aantal pagina’s bij een volgend bezoek bekend is. Googlebot zou dan niet verder kijken dan dit bekende aantal.
Googlebot bekijkt elke pagina en waardeert deze. Inderdaad: hij krijgt een PageRank. Wordt bijvoorbeeld extern veel naar een pagina verwezen dan wordt hij zeker gecrawld, wat goed kan zijn voor de PageRank. Staan op die pagina verschillende interne links dan worden ook die pagina’s bekeken. Gaat de interne structuur echter te diep, dan daalt de PageRank weer; het moet overzichtelijk blijven.
Naast PageRank telt de investering mee. Een laag crawl budget kan betekenen dat de server een lage ‘host load’ heeft. De host load is het maximum aantal gelijktijdige verbindingen die een server aankan. Als de server maar één bot tegelijk toelaat duurt het bijzonder lang voordat alle pagina’s zijn bekeken. Fraaie voorbeelden van een hoge host load zien we bij Twitter en Facebook, die erg veel verbindingen gelijktijdig verwerken. Googlebot kan hier volop crawlen. En kijk eens naar hun PageRank!
Het crawlen tegenwerken kan ook door duplicate content. Ziet Googlebot 3 pagina’s die verdacht veel op elkaar lijken, dan worden er 2 genegeerd. De website maakt een slechte indruk en zal niet grondig worden gecrawld.
Overkoepelend gezegd spelen twee dingen mee bij het crawlen door Googlebot: de PageRank en de host load van de server. PageRank is dus wel degelijk belangrijk?! Jazeker, maar het is vooral een indicatie die Googlebot zelf gebruikt, en wij kunnen leuk meekijken. Je eigen website een hogere PageRank laten krijgen staat gelijk aan stijgende winstcijfers: dat zien we graag.
Hoe we dit bereiken geeft Matt Cutts zelf aan: ‘It’s always best to take care of it on your own site so you don’t have to worry about how the search engines take care of it.’