Robot de recherche

Les robots de recherche sont des outils automatisés utilisés par les moteurs de recherche, tels que Google, Bing et Yahoo ! pour construire leurs bases de données. Ces robots, également connus sous le nom de bots, wanderers, crawlers et spiders, parcourent systématiquement le Web pour découvrir de nouveaux sites Web, ainsi que des mises à jour de sites existants, et créent un enregistrement des espaces numériques qu'ils ont parcourus.

Pour ce faire, ils suivent une série de liens, explorent les connexions entre les pages web et traitent les données, telles que le contenu, les sitemaps, les liens et les codes HTML, afin de créer un index actualisé. Comme les robots de recherche sont automatisés, ils traitent les données qu'ils explorent beaucoup plus rapidement et plus précisément qu'un humain ne pourrait le faire.

Ils sont principalement utilisés par les moteurs de recherche, qui s'en servent pour analyser le contenu du web ; toutefois, les spammeurs exploitent également le logiciel des robots pour rechercher des adresses électroniques et des données personnelles. Tout le contenu peut être consulté par les robots de recherche, sauf s'il est codé avec le fichier robots.txt, qui leur en interdit l'accès.