Robots.txt

Robots.txt, ou Robots Exclusion Protocol, est un fichier texte utilisé par un site Web pour communiquer avec les robots de recherche des moteurs de recherche (ou crawlers). Robots.txt est un fichier texte accessible à la racine du site Web qui communique des informations importantes aux crawlers. Par exemple, l'utilisation de robots.txt permet aux SEO d'indiquer aux robots de recherche comment traiter chaque page du site Web. Vous pouvez définir certaines pages pour qu'elles soient ignorées par le robot d'exploration, ce qui garantit que seul le contenu le plus utile et le plus important est exploré et indexé.