Comment marchent les robots
Les robots du web sont des programmes qui lisent des pages web tout seuls. Il en existe beaucoup de sortes, et elles ne font pas les mêmes choses. Ici, vous voyez étape par étape ce que fait chaque sorte, et quelques robots que nous avons croisés.
Première visite ? Comment tout s’imbrique
Robots de recherche
Un robot de recherche lit des pages web pour un moteur de recherche, comme Google ou Bing. Il veut savoir ce que dit chaque page, pour que le moteur de recherche puisse montrer la bonne page quand vous cherchez quelque chose.
Ce qu’il fait
- D’abord, il lit robots.txt, le panneau près de la porte qui dit quelles pages les robots ont le droit de lire.
- Ensuite, il va chercher une page et lit tout ce qui est écrit dessus.
- Sur la page, il y a des liens vers d’autres pages. Le robot les suit, un par un.
- Ce qu’il a lu, il le range dans l’index du moteur de recherche, comme des fiches dans un grand fichier.
- Au bout d’un moment, il revient voir ce qui a changé.
Est-ce qu’il lit robots.txt ?
Les grands robots de recherche disent qu’ils font ce que dit robots.txt. Si une page leur est fermée, ils ne la lisent pas.
Si vous avez un site
Si vous voulez qu’on trouve votre site, laissez entrer les robots de recherche. S’il y a quelque chose qu’ils ne doivent pas lire, écrivez-le dans robots.txt. Mais ce qui doit rester secret a besoin d’un mot de passe, car robots.txt n’est qu’un panneau.
Sources, lues le 3 novembre 2026 : developers.google.com (s’ouvre dans une nouvelle fenêtre, hors de Pyssly) · rfc-editor.org (s’ouvre dans une nouvelle fenêtre, hors de Pyssly)
Robots d’IA
Les entreprises d’IA ont plusieurs sortes de robots. Certains collectent du texte à partir duquel un programme d’IA peut apprendre. D’autres vont chercher des pages quand quelqu’un pose une question au chatbot de l’entreprise.
Ce qu’il fait
- Les robots qui collectent du texte lisent d’abord robots.txt, disent les entreprises.
- Ensuite, ils vont chercher page après page et mettent le texte dans un grand sac.
- Avec tout ce qui a été collecté, le programme d’IA apprend comment marche une langue.
- Un autre jour, une personne pose une question au chatbot.
- Alors l’entreprise peut envoyer un robot de récupération, qui va chercher par exemple cette page-là.
- Le robot de récupération rapporte la page, et le chatbot répond grâce à elle.
Est-ce qu’il lit robots.txt ?
Les robots qui collectent du texte disent qu’ils écoutent robots.txt. Pour les robots de récupération, c’est différent : quand c’est une personne qui a demandé la page, certaines entreprises disent que robots.txt ne s’applique pas toujours.
Si vous avez un site
Dans robots.txt, vous pouvez dire non aux robots qui collectent du texte pour l’IA, chacun par son nom, et laisser quand même entrer les robots de recherche. Les entreprises donnent le nom de leurs robots sur leurs propres pages.
Quelques robots de cette sorte
Sources, lues le 3 novembre 2026 : developers.openai.com (s’ouvre dans une nouvelle fenêtre, hors de Pyssly) · support.claude.com (s’ouvre dans une nouvelle fenêtre, hors de Pyssly)
Outils SEO
Un outil SEO est un robot qui mesure les sites des autres. Des entreprises s’en servent pour voir comment leur propre site apparaît dans les moteurs de recherche, comparé aux autres.
Ce qu’il fait
- Il lit d’abord robots.txt.
- Ensuite, il mesure la page : comment elle s’appelle, quelle taille elle a et à quelle vitesse elle se charge.
- Il compte les liens : quelles pages mènent ici, et vers où mène cette page.
- Tout cela devient un rapport avec des graphiques en barres, que l’entreprise qui crée l’outil vend à d’autres.
Est-ce qu’il lit robots.txt ?
Les grands outils SEO disent qu’ils suivent robots.txt, et certains vont plus lentement si vous le leur demandez.
Si vous avez un site
Si vous ne voulez pas que ces robots mesurent votre site, vous pouvez leur dire non un par un dans robots.txt. Pour les moteurs de recherche comme Google et Bing, cela ne change rien au fait que votre site apparaisse, mais certains de ces outils collectent aussi pour leur propre moteur de recherche.
Quelques robots de cette sorte
Sources, lues le 3 novembre 2026 : ahrefs.com (s’ouvre dans une nouvelle fenêtre, hors de Pyssly) · semrush.com (s’ouvre dans une nouvelle fenêtre, hors de Pyssly)
Collecteurs de données
Un collecteur de données va chercher des quantités de pages web et les garde comme données. Parfois, cela devient une archive ouverte que tout le monde peut utiliser, parfois un service vendu à d’autres.
Ce qu’il fait
- Il lit d’abord robots.txt.
- Ensuite, il va chercher page après page, vraiment beaucoup.
- Il rassemble les pages en un gros paquet.
- D’autres se servent ensuite du paquet, par exemple pour la recherche ou pour entraîner des programmes d’IA.
Est-ce qu’il lit robots.txt ?
Les collecteurs de données connus disent qu’ils font ce que dit robots.txt.
Si vous avez un site
Si vous dites non à un collecteur de données dans robots.txt, vos nouvelles pages n’entrent pas dans ses collections. Ce qui a déjà été collecté peut y rester.
Quelques robots de cette sorte
Sources, lues le 3 novembre 2026 : commoncrawl.org (s’ouvre dans une nouvelle fenêtre, hors de Pyssly) · diffbot.com (s’ouvre dans une nouvelle fenêtre, hors de Pyssly)
Fouineurs de liens
Un fouineur de liens fabrique les petites cartes avec une image et un titre qui apparaissent quand quelqu’un colle un lien dans une discussion ou une publication.
Ce qu’il fait
- Quelqu’un colle un lien dans une appli sur son téléphone.
- Le robot de l’appli va tout de suite chercher la page où mène le lien.
- Il en retire le titre de la page, une phrase et une image.
- Avec tout ça, il fabrique une petite carte qui s’affiche dans la discussion.
Est-ce qu’il lit robots.txt ?
Parfois. Certains fouineurs de liens suivent robots.txt, d’autres vont chercher la page quand même, parce que c’est une personne qui a partagé le lien.
Si vous avez un site
Mettez un titre clair, une courte description et une image dans le code de votre page, et les cartes seront belles. Si vous fermez la porte aux fouineurs de liens, le lien n’est plus qu’une ligne de texte.
Quelques robots de cette sorte
Sources, lues le 3 novembre 2026 : developers.facebook.com (s’ouvre dans une nouvelle fenêtre, hors de Pyssly)
Scripts
Un script est un petit programme que quelqu’un a écrit pour aller chercher des pages. Ce peut être quelqu’un qui teste son propre site, ou quelqu’un qui veut copier celui des autres.
Ce qu’il fait
- Quelqu’un écrit la liste des pages à aller chercher.
- Le programme démarre et va chercher la première page.
- Puis la suivante, et la suivante, exactement comme dit la liste, aussi vite qu’il peut.
- Quand la liste est finie, il s’arrête. Peut-être qu’il n’a jamais dit qui il était.
Est-ce qu’il lit robots.txt ?
Ça dépend. Un script fait ce qui est sur sa liste, et ne lit robots.txt que si la personne qui l’a écrit le lui a demandé.
Si vous avez un site
robots.txt n’aide pas contre un script qui ne le lit pas. Ce qui aide, c’est de fermer à clé ce qui doit rester secret et de faire attendre celui qui demande trop souvent.
Quelques robots de cette sorte
Sources, lues le 3 novembre 2026 : rfc-editor.org (s’ouvre dans une nouvelle fenêtre, hors de Pyssly) · rfc-editor.org (s’ouvre dans une nouvelle fenêtre, hors de Pyssly)
Guetteurs de domaines
Chaque jour, des milliers de nouvelles adresses web sont créées. Un guetteur de domaines est un robot qui les surveille et passe jeter un coup d’œil sur chaque nouveau site.
Ce qu’il fait
- Partout dans le monde, de nouvelles adresses sont enregistrées sans arrêt.
- Le robot reçoit la liste des nouvelles adresses du jour.
- Il frappe à la page d’accueil des nouveaux sites.
- Ce qu’il voit, il l’inscrit dans un registre, qui est montré ou vendu à d’autres.
Est-ce qu’il lit robots.txt ?
Parfois. Certains lisent robots.txt d’abord, d’autres non.
Si vous avez un site
Ils viennent souvent peu après la création d’un site. Si vous n’en voulez pas, vous pouvez leur dire non dans robots.txt, mais le panneau n’arrête que ceux qui l’écoutent.
Quelques robots de cette sorte
Sources, lues le 3 novembre 2026 : czds.icann.org (s’ouvre dans une nouvelle fenêtre, hors de Pyssly)
Cambrioleurs
Un cambrioleur est un robot qui cherche un moyen d’entrer. Il va de site en site et essaie des portes que beaucoup de sites ont, par exemple la page de connexion de WordPress.
Ce qu’il fait
- Le robot met un masque et se rend sur un site.
- Il frappe à des portes qui existent peut-être, comme /wp-login.php ou /.env.
- Il essaie des clés : des mots de passe courants, l’un après l’autre.
- Si la porte n’existe pas, ou si la serrure tient bon, il passe au site suivant.
Est-ce qu’il lit robots.txt ?
N’y comptez pas. robots.txt est un panneau, pas une serrure, et celui qui cherche à entrer peut passer devant.
Si vous avez un site
Gardez tout à jour, utilisez des mots de passe longs et la connexion en deux étapes, et ne mettez jamais de fichiers secrets là où le web peut les atteindre.
Quelques robots de cette sorte
Sources, lues le 3 novembre 2026 : developer.wordpress.org (s’ouvre dans une nouvelle fenêtre, hors de Pyssly) · rfc-editor.org (s’ouvre dans une nouvelle fenêtre, hors de Pyssly)
Déguisés
Un robot déguisé fait semblant d’être un navigateur ordinaire, comme celui que vous utilisez. Il ne veut pas que le site comprenne que c’est un robot.
Ce qu’il fait
- Le robot sort un masque.
- Masque sur le visage, il dit : Je suis un navigateur tout à fait ordinaire !
- Mais il peut lire page après page, bien plus vite qu’un humain ne pourrait le faire.
- Et le panneau près de la porte, robots.txt, il peut passer devant sans le lire, car les navigateurs ordinaires ne le lisent pas.
Est-ce qu’il lit robots.txt ?
N’y comptez pas. Les navigateurs ordinaires ne lisent pas robots.txt, alors celui qui se fait passer pour l’un d’eux peut s’en passer aussi.
Si vous avez un site
On ne peut pas arrêter un robot déguisé avec robots.txt. Ce qui aide, c’est la même chose que contre les scripts : fermer à clé ce qui est secret et faire attendre celui qui demande trop souvent.
Quelques robots de cette sorte
Sources, lues le 3 novembre 2026 : rfc-editor.org (s’ouvre dans une nouvelle fenêtre, hors de Pyssly) · rfc-editor.org (s’ouvre dans une nouvelle fenêtre, hors de Pyssly)
Inconnus
Un robot inconnu dit qu’il est un robot, mais pas lequel, ou ne dit rien du tout. Alors personne ne sait qui l’a envoyé, ni pourquoi.
Ce qu’il fait
- Il sort du brouillard.
- Il dit seulement : Je suis un robot. Pas de nom.
- Il va chercher une page, ou quelques-unes.
- Puis il disparaît de nouveau dans le brouillard.
Est-ce qu’il lit robots.txt ?
Parfois. Certains lisent robots.txt, mais sans nom, le panneau ne peut rien leur dire à eux en particulier, seulement à tous les robots à la fois.
Si vous avez un site
Une règle dans robots.txt pour tous les robots, User-agent: *, vaut aussi pour les inconnus, s’ils écoutent.
Quelques robots de cette sorte
Sources, lues le 3 novembre 2026 : rfc-editor.org (s’ouvre dans une nouvelle fenêtre, hors de Pyssly) · rfc-editor.org (s’ouvre dans une nouvelle fenêtre, hors de Pyssly)
Ce qu’est robots.txt, vous l’apprendrez à l’école des robots, sur la page Le bocal.