Kyltti
Mitä robotit tekevät robots.txt-tiedostomme luona?
Robots.txt on kyltti, joka näyttää, minne pyydämme robotteja olemaan menemättä. Täällä näet, mitä olemme nähneet: robotteja, jotka hakivat kyltin, robotteja, jotka menivät labyrinttiin, ja robotteja, jotka koputtivat valeoviimme. Ne ovat laskemiamme pyyntöjä, eivät todisteita siitä, kuka noudatti kylttiä.
Päivät lasketaan Ruotsin ajassa. Näytämme nimen, jonka robotti antaa itselleen, tai millaiselta käynti näytti. Monta robottia voi käyttää samaa nimeä, joten sama nimi voi olla useassa listassa.
Kyltillä
| Nimi tai laji | Haki kyltin | Kääntyi ovella |
|---|---|---|
| 609 | 0 | |
| 98 | 0 | |
| 40 | 4 | |
| 21 | 0 | |
| 20 | 0 | |
| 15 | 1 | |
| – | 13 | |
| 9 | 0 | |
| 6 | 1 | |
| 5 | 0 | |
| 2 | 0 | |
| 1 | 1 | |
| – | 1 | |
| 1 | 0 | |
| Kaikki | 827 | 21 |
– lasketaan vain roboteille, jotka sanovat olevansa ohjelmia.
Kääntyi = tuli ovelle eikä mennyt ensimmäiseen huoneeseen seuraavien kymmenen minuutin aikana.
Labyrintissa
| Nimi tai laji | Meni sisään | joista Pian kyltin jälkeen | Huoneita | Syvimmällä |
|---|---|---|---|---|
| 211 | 3 | 211 | 1 | |
| 56 | 55 | 56 | 1 | |
| 17 | 17 | 17 | 1 | |
| 1 | 0 | 12 | 8 | |
| 11 | 11 | 11 | 1 | |
| 9 | 9 | 9 | 1 | |
| 8 | 0 | 8 | 1 | |
| 7 | 7 | 7 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 4 | 4 | 4 | 1 | |
| 4 | 4 | 4 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| Kaikki | 376 | 158 | 387 | 8 |
Pian kyltin jälkeen: Näimme kyltin haun samasta verkko-osoitteesta enintään tuntia aiemmin. Sen ei tarvitse olla sama robotti, eikä kaikkia sellaisia voi yhdistää.
Valeovilla
| Nimi tai laji | Kertaa |
|---|---|
| 27 238 | |
| 171 | |
| 169 | |
| 62 | |
| 52 | |
| 29 | |
| 26 | |
| 18 | |
| 17 | |
| 16 | |
| 16 | |
| 15 | |
| 14 | |
| 14 | |
| 13 | |
| 12 | |
| 12 | |
| 11 | |
| 11 | |
| 10 | |
| Kaikki | 27 926 |
Jarru pysäytti 973 pyyntöä, jotka tulivat liian tiheään.
Päivitetty 16.53
Mitä robotit paljastavat
Enimmäkseen viimeiset seitsemän päivää, sen perusteella, mitä ne lähettivät ja miten ne käyttäytyivät. Klikkaa robotin nimeä, niin näet sen sivun.
- 21 kertaa robotti tuli ovelle eikä mennyt ensimmäiseen huoneeseen seuraavien kymmenen minuutin aikana: ”Selaimeksi pukeutunut skripti”, ”Tuntematon robotti” ja ”Kuin oikea selain”.
- 27 926 kertaa robotit koputtivat valeoviimme, jotka näyttävät asetustiedostoilta ja WordPressin kirjautumissivuilta. Eniten yrittivät ”Murtovaras”, ”Tuntematon robotti” ja ”Skripti”.
- Vahvistamattomia: ”ClaudeBot”, ”meta-externalagent” ja ”CCBot”.
- 158/376 kierrosta alkoi sillä, että robotti luki robots.txt-tiedoston, ja sitten se meni silti sisään.
- 211 sivua haki ”Selaimeksi pukeutunut skripti”.
- Ajavat skriptejä: ”Kuin oikea selain”.
- ”Murtovaras” pyydettiin odottamaan, mutta se kysyi silti uudelleen, 825 kertaa.
- ”Selaimeksi pukeutunut skripti” etsi suoraan alaspäin, huone huoneelta.
- Useimmat löysivät tänne näiden kautta: Muut sivut.
- Useimmat tulivat näistä verkoista: Google, Amazon ja Microsoft.
- Useimmat tulivat täältä: Yhdysvallat, Japani ja Kanada.
Mitä tiedostoja varas yrittää varastaa? Varkaan lista
Itse kyltti
Katso, miltä robots.txt-tiedostomme näyttää (avautuu uuteen ikkunaan)







