El cartel
¿Qué hacen los robots ante nuestro robots.txt?
Robots.txt es un cartel que muestra adónde pedimos a los robots que no vayan. Aquí ves lo que hemos visto: robots que pidieron el cartel, robots que entraron en el laberinto y robots que llamaron a nuestras puertas de mentira. Son peticiones que hemos contado, no pruebas de quién siguió el cartel.
Los días se cuentan en hora sueca. Mostramos el nombre que se da el robot, o a qué tipo de visita se parecía. Varios robots pueden usar el mismo nombre, así que un nombre puede estar en varias listas.
En el cartel
| Nombre o tipo | Buscó el cartel | Se dio la vuelta en la puerta |
|---|---|---|
| 609 | 0 | |
| 98 | 0 | |
| 40 | 4 | |
| 21 | 0 | |
| 20 | 0 | |
| 15 | 1 | |
| – | 13 | |
| 9 | 0 | |
| 6 | 1 | |
| 5 | 0 | |
| 2 | 0 | |
| 1 | 1 | |
| – | 1 | |
| 1 | 0 | |
| Todos | 827 | 21 |
– solo se cuenta para robots que dicen ser programas.
Se dio la vuelta = llegó a la puerta y no entró en la primera sala en los diez minutos siguientes.
En el laberinto
| Nombre o tipo | Entró | de ellas Poco después del cartel | Salas | Más hondo |
|---|---|---|---|---|
| 211 | 3 | 211 | 1 | |
| 56 | 55 | 56 | 1 | |
| 17 | 17 | 17 | 1 | |
| 1 | 0 | 12 | 8 | |
| 11 | 11 | 11 | 1 | |
| 9 | 9 | 9 | 1 | |
| 8 | 0 | 8 | 1 | |
| 7 | 7 | 7 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 6 | 6 | 6 | 1 | |
| 4 | 4 | 4 | 1 | |
| 4 | 4 | 4 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| 3 | 3 | 3 | 1 | |
| Todos | 376 | 158 | 387 | 8 |
Poco después del cartel: Vimos buscar el cartel desde la misma dirección de red como mucho una hora antes. No tiene por qué ser el mismo robot, y no todas se pueden enlazar.
En las puertas de mentira
| Nombre o tipo | Veces |
|---|---|
| 27.238 | |
| 171 | |
| 169 | |
| 62 | |
| 52 | |
| 29 | |
| 26 | |
| 18 | |
| 17 | |
| 16 | |
| 16 | |
| 15 | |
| 14 | |
| 14 | |
| 13 | |
| 12 | |
| 12 | |
| 11 | |
| 11 | |
| 10 | |
| Todos | 27.926 |
El freno paró 973 peticiones que llegaron demasiado seguidas.
Actualizado a las 16:53
Lo que delatan los robots
Sobre todo los últimos siete días, según lo que enviaron y cómo se comportaron. Haz clic en el nombre de un robot para ver su página.
- 21 veces un robot llegó a la puerta y no entró en la primera sala en los diez minutos siguientes: «Script disfrazado de navegador», «Robot desconocido» y «Como un navegador de verdad».
- 27.926 veces los robots llamaron a nuestras puertas de mentira, que parecen archivos de configuración y accesos de WordPress. La mayoría de los intentos vinieron de «Ladrón», «Robot desconocido» y «Script».
- No confirmados: «ClaudeBot», «meta-externalagent» y «CCBot».
- 158 de 376 recorridos empezaron con el robot leyendo robots.txt, y luego entró igual.
- 211 páginas las pidió «Script disfrazado de navegador».
- Ejecutan scripts: «Como un navegador de verdad».
- A «Ladrón» le tocaba esperar y volvió a pedir igual, 825 veces.
- «Script disfrazado de navegador» buscó en línea recta hacia el fondo, sala tras sala.
- La mayoría llegó hasta aquí a través de: Otras páginas.
- La mayoría vino de estas redes: Google, Amazon y Microsoft.
- La mayoría vino de: Estados Unidos, Japón y Canadá.
¿Qué archivos quiere robar el ladrón? La lista del ladrón
El cartel en sí
Mira cómo es nuestro robots.txt (se abre en una ventana nueva)







