Skiltet
Hvad gør robotterne ved vores robots.txt?
Robots.txt er et skilt, der viser, hvor vi beder robotterne om ikke at gå. Her ser du, hvad vi har set: robotter, der hentede skiltet, robotter, der gik ind i labyrinten, og robotter, der bankede på vores falske døre. Det er forespørgsler, vi har talt, ikke bevis for, hvem der fulgte skiltet.
Dagene tælles i svensk tid. Vi viser det navn, robotten giver sig selv, eller hvilken slags besøg det lignede. Flere robotter kan bruge samme navn, så et navn kan stå i flere lister.
Ved skiltet
| Navn eller slags | Hentede skiltet | Vendte om ved døren |
|---|---|---|
| 609 | 0 | |
| 98 | 0 | |
| 40 | 4 | |
| 21 | 0 | |
| 20 | 0 | |
| 15 | 1 | |
| – | 13 | |
| 9 | 0 | |
| 6 | 1 | |
| 5 | 0 | |
| 2 | 0 | |
| 1 | 1 | |
| – | 1 | |
| 1 | 0 | |
| Alle | 827 | 21 |
– tælles kun for robotter, der siger, at de er programmer.
Vendte om = kom til døren og gik ikke ind i det første rum de følgende ti minutter.
I labyrinten
| Navn eller slags | Gik ind | heraf Lige efter skiltet | Rum | Dybest |
|---|---|---|---|---|
| 211 | 3 | 211 | 1 | |
| 56 | 55 | 56 | 1 | |
| 17 | 17 | 17 | 1 | |
| 1 | 0 | 12 | 8 | |
| 11 | 11 | 11 | 1 | |
| 9 | 9 | 9 | 1 | |
| 8 | 0 | 8 | 1 | |
| 7 | 7 | 7 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 4 | 4 | 4 | 1 | |
| 4 | 4 | 4 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| Alle | 376 | 158 | 387 | 8 |
Lige efter skiltet: Vi så skiltet hentet fra samme netadresse højst en time før. Det behøver ikke være den samme robot, og ikke alle sådanne kan kobles sammen.
Ved de falske døre
| Navn eller slags | Gange |
|---|---|
| 27.238 | |
| 171 | |
| 169 | |
| 62 | |
| 52 | |
| 29 | |
| 26 | |
| 18 | |
| 17 | |
| 16 | |
| 16 | |
| 15 | |
| 14 | |
| 14 | |
| 13 | |
| 12 | |
| 12 | |
| 11 | |
| 11 | |
| 10 | |
| Alle | 27.926 |
Bremsen stoppede 973 forespørgsler, der kom for tæt.
Opdateret 16.53
Hvad robotterne afslører
Mest de sidste syv dage, ud fra hvad de sendte, og hvordan de opførte sig. Klik på en robots navn for at se dens side.
- 21 gange kom en robot til døren og gik ikke ind i det første rum de følgende ti minutter: »Script klædt ud som browser«, »Ukendt robot« og »Som en rigtig browser«.
- 27.926 gange bankede robotter på vores falske døre, som ligner konfigurationsfiler og WordPress-logins. Flest forsøg kom fra »Indbrudstyv«, »Ukendt robot« og »Script«.
- Ikke bekræftet: »ClaudeBot«, »meta-externalagent« og »CCBot«.
- 158 af 376 ture begyndte med, at robotten læste robots.txt, og så gik den ind alligevel.
- 211 sider blev hentet af »Script klædt ud som browser«.
- Kører scripts: »Som en rigtig browser«.
- »Indbrudstyv« skulle vente, men spurgte igen alligevel, 825 gange.
- »Script klædt ud som browser« ledte lige nedad, rum efter rum.
- Flest fandt herhen via: Andre sider.
- Flest kom fra disse net: Google, Amazon og Microsoft.
- Flest kom fra: USA, Japan og Canada.
Hvilke filer vil tyven stjæle? Tyvens liste







