Als je een tag wilt instellen, maar je wilt dat bepaalde links niet worden geïndexeerd of gevolgd worden door de crawler, dan is de oplossing hiervoor om een meta-tag in te stellen. Dit is een onderdeel van on-page SEO, met andere woorden, het instellen van links naar interne en externe pagina’s, vanuit de pagina waarop je deze instelt.
Verder heeft dit weinig tot niets te maken met de robots.txt, aangezien als je een link hebt ingesteld op nofollow, noindex, het nog steeds kan zijn dat deze link gevolgd kan worden doordat er op een andere webpagina een link naar deze staat. Vergeet niet dat deze tags moeten geïmplementeerd worden in de ‘<head>’ van de webpagina.
Noindex nofollow
Dit zijn vaak algemene pagina’s waarbij er geen extra bijdrage geleverd wordt aan gebruikers. Hieronder vallen bijvoorbeeld specifieke bedanking pagina's of specifieke bevestigingspagina's. Alas er in de on-page meta een ‘no index, no-follow’ wordt geplaatst, dan is dit de veiligste optie om te vermijden dat gebruikers op een pagina terechtkomen.
noindex follow
No index, follow: in deze situatie wordt de webpagina niet geïndexeerd door zoekmachines, maar de instructies om links te blijven volgen blijft behouden. Denk aan een pagina die wordt geplaatst in het proces van e-commerce. Als er een link op deze pagina staat, dan kan deze nog steeds gevolg worden, bijvoorbeeld de link naar homepage of naar sociale mediakanalen.
index follow
Deze is de meest gebruikte combinatie. Deze wordt automatisch toegepast op elke link die wordt ingevoegd. Dit moet je dan ook niet instellen. Op een pagina waar deze index follow is ingesteld, of juist niets, dan zal de crawler van de user-agent de link indexeren in de SERP en de webpagina waarnaar verwezen wordt ook volgen.
index no follow
index, no-follow: de crawlbot kan de webpagina vinden en in de SERP plaatsen, maar heeft ook de opdracht gekregen om de links die hierop vermeld staan niet te volgen. Denk hierbij aan een website met verschillende categorieën en productpagina’s. De Google bot moet weten dat deze pagina’s bestaan, maar de pagina’s waar zo’n categoriepagina naar verwijst moet niet gevolgd worden, vaak door de grote hoeveelheid links op deze pagina. Dit neemt vervolgens heel wat crawl budget in beslag, waardoor het handig is om een no index no follow tag toe te voegen aan de link in de meta van het webpagina
In het geval van gebruikers die een specifiek product zoeken via de zoekmachine, is het wenselijker dat ze geen lijst krijgen met individuele producten die allemaal het zoekwoord bevatten, maar dat zij worden doorverwezen naar de categoriepagina.
