Le panneau
Que font les robots devant notre robots.txt ?
Robots.txt est un panneau qui montre où nous demandons aux robots de ne pas aller. Ici, vous voyez ce que nous avons vu : des robots qui ont récupéré le panneau, des robots qui sont entrés dans le labyrinthe et des robots qui ont frappé à nos fausses portes. Ce sont des requêtes que nous avons comptées, pas des preuves de qui a suivi le panneau.
Les jours sont comptés à l’heure suédoise. Nous montrons le nom que le robot se donne, ou le genre de visite auquel cela ressemblait. Plusieurs robots peuvent utiliser le même nom, donc un nom peut figurer dans plusieurs listes.
Au panneau
| Nom ou genre | A récupéré le panneau | A fait demi-tour à la porte |
|---|---|---|
| 609 | 0 | |
| 98 | 0 | |
| 40 | 4 | |
| 21 | 0 | |
| 20 | 0 | |
| 15 | 1 | |
| – | 13 | |
| 9 | 0 | |
| 6 | 1 | |
| 5 | 0 | |
| 2 | 0 | |
| 1 | 1 | |
| – | 1 | |
| 1 | 0 | |
| Tous | 827 | 21 |
– compté seulement pour les robots qui disent être des programmes.
Demi-tour = est venu à la porte et n’est pas entré dans la première salle dans les dix minutes suivantes.
Dans le labyrinthe
| Nom ou genre | Est entré | dont Peu après le panneau | Salles | Le plus loin |
|---|---|---|---|---|
| 211 | 3 | 211 | 1 | |
| 56 | 55 | 56 | 1 | |
| 17 | 17 | 17 | 1 | |
| 1 | 0 | 12 | 8 | |
| 11 | 11 | 11 | 1 | |
| 9 | 9 | 9 | 1 | |
| 8 | 0 | 8 | 1 | |
| 7 | 7 | 7 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 4 | 4 | 4 | 1 | |
| 4 | 4 | 4 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| Tous | 376 | 158 | 387 | 8 |
Peu après le panneau: Nous avons vu le panneau récupéré depuis la même adresse réseau au plus une heure avant. Ce n’est pas forcément le même robot, et on ne peut pas tous les relier.
Aux fausses portes
| Nom ou genre | Fois |
|---|---|
| 27 238 | |
| 171 | |
| 169 | |
| 62 | |
| 52 | |
| 29 | |
| 26 | |
| 18 | |
| 17 | |
| 16 | |
| 16 | |
| 15 | |
| 14 | |
| 14 | |
| 13 | |
| 12 | |
| 12 | |
| 11 | |
| 11 | |
| 10 | |
| Tous | 27 926 |
Le frein a arrêté 973 requêtes trop rapprochées.
Mis à jour à 16:53
Ce que les robots révèlent
Surtout les sept derniers jours, d’après ce qu’ils ont envoyé et leur comportement. Cliquez sur le nom d’un robot pour voir sa page.
- 21 fois, un robot est venu à la porte et n’est pas entré dans la première salle dans les dix minutes suivantes : « Script déguisé en navigateur », « Robot inconnu » et « Comme un vrai navigateur ».
- 27 926 fois, des robots ont frappé à nos fausses portes, qui ressemblent à des fichiers de configuration et à des connexions WordPress. La plupart des tentatives venaient de « Cambrioleur », « Robot inconnu » et « Script ».
- Non confirmés : « ClaudeBot », « meta-externalagent » et « CCBot ».
- 158 parcours sur 376 ont commencé par la lecture de robots.txt, et le robot est entré quand même.
- 211 pages ont été lues par « Script déguisé en navigateur ».
- Exécutent des scripts : « Comme un vrai navigateur ».
- « Cambrioleur » devait attendre mais a redemandé quand même, 825 fois.
- « Script déguisé en navigateur » a cherché tout droit en profondeur, salle après salle.
- La plupart sont arrivés ici en passant par : D’autres pages.
- La plupart venaient de ces réseaux : Google, Amazon et Microsoft.
- La plupart venaient de : États-Unis, Japon et Canada.
Quels fichiers le voleur veut-il voler ? La liste du voleur
Le panneau lui-même
Voir à quoi ressemble notre robots.txt (s’ouvre dans une nouvelle fenêtre)







