Wat is een robots.txt bestand?
Robots.txt is een tekstbestand die ervoor kan zorgen dat niet alle pagina’s worden weergegeven / geïndexeerd in de zoekresultaten. Dit kan door in te stellen wat de zoekrobots wel of niet mag bekijken.
Hoe pas ik deze aan?
Lees hier hoe je dit zelf kan aanpassen.
