Das Schild
Was machen die Roboter an unserer robots.txt?
Robots.txt ist ein Schild, das zeigt, wohin die Roboter bitte nicht gehen sollen. Hier siehst du, was wir gesehen haben: Roboter, die das Schild abgerufen haben, Roboter, die ins Labyrinth gegangen sind, und Roboter, die an unsere Scheintüren geklopft haben. Das sind Anfragen, die wir gezählt haben, keine Beweise dafür, wer sich an das Schild gehalten hat.
Die Tage zählen nach schwedischer Zeit. Wir zeigen den Namen, den sich der Roboter gibt, oder nach welcher Art Besuch es aussah. Mehrere Roboter können denselben Namen benutzen, also kann ein Name in mehreren Listen stehen.
Am Schild
| Name oder Art | Holte das Schild | Kehrte an der Tür um |
|---|---|---|
| 609 | 0 | |
| 98 | 0 | |
| 40 | 4 | |
| 21 | 0 | |
| 20 | 0 | |
| 15 | 1 | |
| – | 13 | |
| 9 | 0 | |
| 6 | 1 | |
| 5 | 0 | |
| 2 | 0 | |
| 1 | 1 | |
| – | 1 | |
| 1 | 0 | |
| Alle | 827 | 21 |
– nur gezählt für Roboter, die sagen, dass sie Programme sind.
Kehrte um = kam an die Tür und ging in den folgenden zehn Minuten nicht in den ersten Raum.
Im Labyrinth
| Name oder Art | Ging hinein | davon Kurz nach dem Schild | Räume | Am tiefsten |
|---|---|---|---|---|
| 211 | 3 | 211 | 1 | |
| 56 | 55 | 56 | 1 | |
| 17 | 17 | 17 | 1 | |
| 1 | 0 | 12 | 8 | |
| 11 | 11 | 11 | 1 | |
| 9 | 9 | 9 | 1 | |
| 8 | 0 | 8 | 1 | |
| 7 | 7 | 7 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 4 | 4 | 4 | 1 | |
| 4 | 4 | 4 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| Alle | 376 | 158 | 387 | 8 |
Kurz nach dem Schild: Wir sahen das Schild höchstens eine Stunde vorher von derselben Netzadresse abgeholt. Es muss nicht derselbe Roboter sein, und nicht alle solchen lassen sich verbinden.
An den Scheintüren
| Name oder Art | Male |
|---|---|
| 27.238 | |
| 171 | |
| 169 | |
| 62 | |
| 52 | |
| 29 | |
| 26 | |
| 18 | |
| 17 | |
| 16 | |
| 16 | |
| 15 | |
| 14 | |
| 14 | |
| 13 | |
| 12 | |
| 12 | |
| 11 | |
| 11 | |
| 10 | |
| Alle | 27.926 |
Die Bremse stoppte 973 Anfragen, die zu dicht kamen.
Aktualisiert 16:53
Was die Roboter verraten
Meist die letzten sieben Tage, nach dem, was sie schickten und wie sie sich verhielten. Klick auf den Namen eines Roboters, um seine Seite zu sehen.
- 21-mal kam ein Roboter an die Tür und ging in den folgenden zehn Minuten nicht in den ersten Raum: „Skript im Browser-Kostüm“, „Unbekannter Roboter“ und „Wie ein echter Browser“.
- 27.926-mal klopften Roboter an unsere Scheintüren, die wie Konfigurationsdateien und WordPress-Anmeldungen aussehen. Die meisten Versuche kamen von „Einbrecher“, „Unbekannter Roboter“ und „Skript“.
- Nicht bestätigt: „ClaudeBot“, „meta-externalagent“ und „CCBot“.
- 158 von 376 Gängen begannen damit, dass der Roboter robots.txt las, und dann ging er trotzdem hinein.
- 211 Seiten holte „Skript im Browser-Kostüm“.
- Lassen Skripte laufen: „Wie ein echter Browser“.
- „Einbrecher“ sollte warten und fragte trotzdem wieder, 825-mal.
- „Skript im Browser-Kostüm“ suchte geradewegs in die Tiefe, Raum für Raum.
- Die meisten fanden den Weg hierher über: Andere Seiten.
- Die meisten kamen aus diesen Netzen: Google, Amazon und Microsoft.
- Die meisten kamen aus: Vereinigte Staaten, Japan und Kanada.
Welche Dateien will der Dieb stehlen? Die Liste des Diebs
Das Schild selbst
So sieht unsere robots.txt aus (öffnet sich in einem neuen Fenster)







