Les robotsLe labyrinthe des robots
Le bocal
Première visite ? Comment tout s’imbrique
Ici, nous gardons les robots qui sont entrés alors que le panneau disait non. Plus ils sont allés profond, plus ils se retrouvent bas dans le bocal.
Les traits dans le bocal sont les salles du labyrinthe : salle 1, 10, 100 et 1 000. Plus un robot est allé loin, plus il est bas.
- –ces sept derniers jours
- –sortes attrapées
- –le plus profond aujourd’hui
Aucun robot à suivre pour le moment.
Suivez un robot pendant que vous regardez.
L’école des robots
Qu’est-ce qu’un robot sur le web ?
Un programme qui lit des pages web tout seul. Un robot de recherche va de lien en lien sans qu’une personne clique, un peu comme quand vous feuilletez un livre, mais à la vitesse de l’éclair.
Qu’est-ce que robots.txt ?
Un petit fichier qu’un site peut avoir, comme un panneau près de la porte. Il dit dans quelles salles les robots peuvent entrer. Le panneau ne peut fermer aucune porte à clé : il n’aide que si le robot le lit et l’écoute.
Source : rfc-editor.org, lu le 2 novembre 2026 (s’ouvre dans une nouvelle fenêtre, hors de Pyssly)
Robot de recherche ou robot d’IA ?
Un robot de recherche lit des pages pour qu’un moteur de recherche puisse les trouver pour vous. Un robot d’IA collecte du texte dont un programme d’IA peut apprendre. Et puis il y a les robots de récupération : ils ne se promènent pas tout seuls, mais vont chercher une seule page quand une personne la demande à un service d’IA. Une entreprise peut dire que robots.txt ne s’applique pas à ce genre de visite, puisque c’est une personne qui a demandé.
Pourquoi ne l’écoutent-ils pas tous ?
Certains robots ne lisent jamais le panneau. D’autres le lisent mais font ce qu’ils veulent. Et n’importe qui peut appeler son programme comme il veut. Alors nous savons seulement comment un robot s’appelle lui-même, pas à coup sûr qui l’a envoyé.
Source : rfc-editor.org, lu le 2 novembre 2026 (s’ouvre dans une nouvelle fenêtre, hors de Pyssly)
Première visite ? Comment tout s’imbrique
Tous les robots et leurs cartes sont dans l’armoire à bricolage.