De Googlebot is de web crawler of spider van Google. Door websites te crawlen weet Google welke content er op de pagina staat en hoeveel pagina’s er op de website aanwezig zijn. Het crawlen van websites is voor de Googlebot een non-stop proces. Voortdurend gaat deze webcrawler op zoek naar nieuwe links of content op de webpagina’s. Daardoor blijven de resultaten in de SERP altijd voorzien van de nieuwste content van een webpagina.
Daarnaast kan je ook specifiek inhoud van je website blokkeren voor de Googlebot. Dit kan je doen door in de robots.txt aan te geven welke files en/of directories er niet geïndexeerd mogen worden. Bij het blokkeren in de robots.txt zal de Googlebot de URL niet meer bezoeken, maar staat deze wel nog in de zoekresultaten. Dit is in tegenstelling tot de NoFollow, waar de URL niet meer bezocht zal worden en niet meer in de zoekresultaten zal verschijnen.
