Skylten
Vad gör robotarna vid vår robots.txt?
Robots.txt är en skylt som visar var vi ber robotarna att inte gå. Här ser du vad vi har sett: robotar som hämtade skylten, robotar som gick in i labyrinten och robotar som knackade på våra låtsasdörrar. Det är förfrågningar vi har räknat, inte bevis på vem som följde skylten.
Dagarna räknas i svensk tid. Vi visar namnet roboten ger sig, eller vilken sorts besök det liknade. Flera robotar kan använda samma namn, så ett namn kan stå i flera listor.
Vid skylten
| Namn eller sort | Hämtade skylten | Vände vid dörren |
|---|---|---|
| 609 | 0 | |
| 98 | 0 | |
| 40 | 4 | |
| 21 | 0 | |
| 20 | 0 | |
| 15 | 1 | |
| – | 13 | |
| 9 | 0 | |
| 6 | 1 | |
| 5 | 0 | |
| 2 | 0 | |
| 1 | 1 | |
| – | 1 | |
| 1 | 0 | |
| Alla | 827 | 21 |
– räknas bara för robotar som säger att de är program.
Vände = kom till dörren och gick inte in i första rummet de följande tio minuterna.
I labyrinten
| Namn eller sort | Gick in | varav Strax efter skylten | Rum | Djupast |
|---|---|---|---|---|
| 211 | 3 | 211 | 1 | |
| 56 | 55 | 56 | 1 | |
| 17 | 17 | 17 | 1 | |
| 1 | 0 | 12 | 8 | |
| 11 | 11 | 11 | 1 | |
| 9 | 9 | 9 | 1 | |
| 8 | 0 | 8 | 1 | |
| 7 | 7 | 7 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 4 | 4 | 4 | 1 | |
| 4 | 4 | 4 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| Alla | 376 | 158 | 387 | 8 |
Strax efter skylten: Vi såg en skylthämtning från samma nätadress högst en timme före. Det behöver inte vara samma robot, och alla sådana går inte att koppla ihop.
Vid låtsasdörrarna
| Namn eller sort | Gånger |
|---|---|
| 27 238 | |
| 171 | |
| 169 | |
| 62 | |
| 52 | |
| 29 | |
| 26 | |
| 18 | |
| 17 | |
| 16 | |
| 16 | |
| 15 | |
| 14 | |
| 14 | |
| 13 | |
| 12 | |
| 12 | |
| 11 | |
| 11 | |
| 10 | |
| Alla | 27 926 |
Bromsen stoppade 973 anrop som kom för tätt.
Uppdaterat 16:53
Vad robotarna avslöjar
Det mesta gäller de senaste sju dagarna, utifrån vad de skickade och hur de betedde sig. Klicka på en robots namn för att se dess sida.
- 21 gånger kom en robot till dörren och gick inte in i första rummet de följande tio minuterna: ”Skript i webbläsarkläder”, ”Okänd robot” och ”Som en riktig webbläsare”.
- 27 926 gånger knackade robotar på våra låtsasdörrar, som ser ut som inställningsfiler och WordPress-inloggningar. Flest försök kom från ”Inbrottstjuv”, ”Okänd robot” och ”Skript”.
- Inte bekräftade: ”ClaudeBot”, ”meta-externalagent” och ”CCBot”.
- 158 av 376 vandringar började med att roboten läste robots.txt, och sedan gick den in ändå.
- 211 sidor hämtades av ”Skript i webbläsarkläder”.
- Kör skript: ”Som en riktig webbläsare”.
- ”Inbrottstjuv” skulle vänta men frågade igen ändå, 825 gånger.
- ”Skript i webbläsarkläder” letade rakt ner, rum efter rum.
- Flest hittade hit via: Andra sidor.
- Flest kom från de här näten: Google, Amazon och Microsoft.
- Flest kom från: USA, Japan och Kanada.
Vilka filer vill tjuven stjäla? Tjuvens lista







