SSL Certificaten
29 augustus 2023
HSTS
31 augustus 2023
Om te voorkomen dat zoekmachines je site indexeren of crawlen, kun je de volgende regel in je robots.txt-bestand plaatsen:
User-agent: *
Disallow/De bovenstaande regel wordt gebruikt om alle zoekmachines te blokkeren en hen te verbieden om toegang te krijgen tot je hele site.
Het robots.txt-bestand moet worden geplaatst in de hoofdmap van je website. Het pad naar het bestand zou er zo uit moeten zien: www.domeinnaam.nl/robots.txt.
Houd er rekening mee dat sommige zoekmachines zich mogelijk niet strikt houden aan de regels in het robots.txt-bestand en mogelijk toch je site indexeren of crawlen. Om er zeker van te zijn dat je site niet wordt geïndexeerd, is het ook aan te raden om aanvullende maatregelen te nemen, zoals het gebruik van een met wachtwoord beveiligde omgeving of het toevoegen van een “noindex” meta-tag aan de HTML-pagina’s van je site.
