Crawlers

Un crawler est un programme utilisé par les moteurs de recherche pour explorer le Web, y compris votre site Web. 

Connus également sous le nom de bot, spider, web crawler ou Googlebot, les crawlers permettent aux moteurs de recherche de scanner et d'analyser les sites Web sur Internet afin de les classer et de les indexer avec précision.

Les robots visitent votre site Web pour recueillir des informations sur la navigation, les performances et le contenu du site, et ajoutent et mettent à jour les informations qu'ils trouvent dans l'index du moteur de recherche.