Así funcionan los robots
Los robots de la web son programas que leen páginas web por sí solos. Hay muchos tipos, y cada uno hace cosas distintas. Aquí ves paso a paso qué hace cada tipo, y algunos de los robots que hemos conocido.
¿Primera vez aquí? Cómo encaja todo
Robots de búsqueda
Un robot de búsqueda lee páginas web para un buscador, como Google o Bing. Quiere saber qué pone en cada página, para que el buscador pueda mostrar la página correcta cuando buscas algo.
Lo que hace
- Primero lee robots.txt, el cartel junto a la puerta que dice qué páginas pueden leer los robots.
- Luego trae una página y lee todo lo que pone.
- En la página hay enlaces a otras páginas. El robot los sigue, uno por uno.
- Lo que ha leído lo ordena en el índice del buscador, como fichas en un gran fichero.
- Al cabo de un tiempo vuelve para ver qué ha cambiado.
¿Lee robots.txt?
Los grandes robots de búsqueda dicen que hacen lo que dice robots.txt. Si una página está cerrada para ellos, no la leen.
Si tienes una web
Si quieres que la gente encuentre tu web, deja entrar a los robots de búsqueda. Si hay algo que no deben leer, escríbelo en robots.txt. Pero lo que tiene que ser secreto necesita una contraseña, porque robots.txt es solo un cartel.
Fuentes, leídas el 3 de noviembre de 2026: developers.google.com (se abre en una ventana nueva, fuera de Pyssly) · rfc-editor.org (se abre en una ventana nueva, fuera de Pyssly)
Robots de IA
Las empresas de IA tienen varios tipos de robots. Unos recogen texto del que un programa de IA puede aprender. Otros traen páginas cuando alguien le pregunta algo al chatbot de la empresa.
Lo que hace
- Los robots que recogen texto leen primero robots.txt, dicen las empresas.
- Luego traen una página tras otra y meten el texto en un saco enorme.
- Con todo lo recogido, el programa de IA aprende cómo funciona el lenguaje.
- Otro día, una persona le pregunta algo al chatbot.
- Entonces la empresa puede enviar un robot de consulta, que trae por ejemplo justo esa página.
- El robot de consulta vuelve con la página, y el chatbot responde con su ayuda.
¿Lee robots.txt?
Los robots que recogen texto dicen que hacen caso a robots.txt. Con los robots de consulta es distinto: cuando una persona ha pedido la página, algunas empresas dicen que robots.txt no siempre vale.
Si tienes una web
En robots.txt puedes decir que no a los robots que recogen texto para la IA, a cada uno por su nombre, y aun así dejar entrar a los robots de búsqueda. Las empresas ponen los nombres de sus robots en sus propias páginas.
Algunos de esta clase
Fuentes, leídas el 3 de noviembre de 2026: developers.openai.com (se abre en una ventana nueva, fuera de Pyssly) · support.claude.com (se abre en una ventana nueva, fuera de Pyssly)
Herramientas SEO
Una herramienta SEO es un robot que mide las webs de los demás. Las empresas la usan para ver cómo sale su propia web en los buscadores, comparada con otras.
Lo que hace
- Primero lee robots.txt.
- Luego mide la página: cómo se llama, qué tamaño tiene y lo rápido que carga.
- Cuenta los enlaces: qué páginas enlazan aquí y adónde enlaza esta página.
- Todo se convierte en un informe con gráficos de barras, que la empresa que crea la herramienta vende a otros.
¿Lee robots.txt?
Las grandes herramientas SEO dicen que siguen robots.txt, y algunas van más despacio si se lo pides.
Si tienes una web
Si no quieres que te midan, puedes decirles que no una a una en robots.txt. En buscadores como Google y Bing eso no cambia que tu web salga, pero algunas de estas herramientas también recogen datos para un buscador propio.
Algunos de esta clase
Fuentes, leídas el 3 de noviembre de 2026: ahrefs.com (se abre en una ventana nueva, fuera de Pyssly) · semrush.com (se abre en una ventana nueva, fuera de Pyssly)
Recolectores de datos
Un recolector de datos trae muchísimas páginas web y las guarda como datos. A veces se convierten en un archivo abierto que cualquiera puede usar, y a veces en un servicio que se vende a otros.
Lo que hace
- Primero lee robots.txt.
- Luego trae una página tras otra, muchísimas.
- Junta las páginas en un paquete enorme.
- Después otros usan el paquete, por ejemplo para investigar o para enseñar a programas de IA.
¿Lee robots.txt?
Los recolectores de datos conocidos dicen que hacen lo que dice robots.txt.
Si tienes una web
Si le dices que no a un recolector de datos en robots.txt, tus páginas nuevas no entran en sus colecciones. Lo que ya se ha recogido puede quedarse.
Algunos de esta clase
Fuentes, leídas el 3 de noviembre de 2026: commoncrawl.org (se abre en una ventana nueva, fuera de Pyssly) · diffbot.com (se abre en una ventana nueva, fuera de Pyssly)
Fisgones de enlaces
Un fisgón de enlaces hace esas tarjetitas con una imagen y un título que aparecen cuando alguien pega un enlace en un chat o en una publicación.
Lo que hace
- Alguien pega un enlace en una aplicación de su móvil.
- El robot de la aplicación trae al momento la página a la que lleva el enlace.
- Saca el título de la página, una frase y una imagen.
- Con eso hace una tarjetita que se ve en el chat.
¿Lee robots.txt?
A veces. Algunos fisgones de enlaces siguen robots.txt, y otros traen la página de todos modos, porque fue una persona quien compartió el enlace.
Si tienes una web
Pon un título claro, una descripción corta y una imagen en el código de tu página, y las tarjetas quedarán bonitas. Si dejas fuera a los fisgones de enlaces, el enlace será solo una línea de texto.
Algunos de esta clase
Fuentes, leídas el 3 de noviembre de 2026: developers.facebook.com (se abre en una ventana nueva, fuera de Pyssly)
Scripts
Un script es un programa pequeño que alguien ha escrito para traer páginas. Puede ser alguien que prueba su propia web, o alguien que quiere copiar las de otros.
Lo que hace
- Alguien escribe una lista con las páginas que hay que traer.
- El programa arranca y trae la primera página.
- Luego la siguiente y la siguiente, tal como dice la lista, todo lo rápido que puede.
- Cuando se acaba la lista, se para. Puede que nunca haya dicho quién es.
¿Lee robots.txt?
Depende. Un script hace lo que pone en su lista, y solo lee robots.txt si quien lo escribió se lo ha pedido.
Si tienes una web
robots.txt no sirve contra un script que no lo lee. Lo que sirve es cerrar con llave lo que tiene que ser secreto y hacer esperar a quien pregunta demasiado a menudo.
Algunos de esta clase
Fuentes, leídas el 3 de noviembre de 2026: rfc-editor.org (se abre en una ventana nueva, fuera de Pyssly) · rfc-editor.org (se abre en una ventana nueva, fuera de Pyssly)
Vigías de dominios
Cada día se crean miles de direcciones web nuevas. Un vigía de dominios es un robot que les sigue la pista y se asoma a cada web nueva.
Lo que hace
- Por todo el mundo se registran direcciones nuevas sin parar.
- El robot recibe una lista con las direcciones nuevas del día.
- Llama a la portada de las webs nuevas.
- Lo que ve lo apunta en un registro, que se muestra o se vende a otros.
¿Lee robots.txt?
A veces. Algunos leen robots.txt primero y otros no.
Si tienes una web
Suelen venir poco después de que se crea una web. Si no los quieres, puedes decirles que no en robots.txt, pero el cartel solo detiene a los que hacen caso.
Algunos de esta clase
Fuentes, leídas el 3 de noviembre de 2026: czds.icann.org (se abre en una ventana nueva, fuera de Pyssly)
Ladrones
Un ladrón es un robot que busca una forma de entrar. Va de web en web probando puertas que tienen muchas webs, por ejemplo el acceso a WordPress.
Lo que hace
- El robot se pone una máscara y va a una web.
- Llama a puertas que a lo mejor existen, como /wp-login.php o /.env.
- Prueba llaves: contraseñas comunes, una tras otra.
- Si la puerta no existe, o la cerradura aguanta, se va a la siguiente web.
¿Lee robots.txt?
No cuentes con ello. robots.txt es un cartel, no una cerradura, y quien busca una forma de entrar puede pasarlo de largo.
Si tienes una web
Mantenlo todo actualizado, usa contraseñas largas y el inicio de sesión en dos pasos, y no pongas nunca archivos secretos donde la web pueda llegar a ellos.
Algunos de esta clase
Fuentes, leídas el 3 de noviembre de 2026: developer.wordpress.org (se abre en una ventana nueva, fuera de Pyssly) · rfc-editor.org (se abre en una ventana nueva, fuera de Pyssly)
Disfrazados
Un robot disfrazado se hace pasar por un navegador normal, como el que usas tú. No quiere que la web se dé cuenta de que es un robot.
Lo que hace
- El robot saca una máscara.
- Con la máscara puesta, dice: ¡Soy un navegador normal y corriente!
- Pero puede leer una página tras otra, mucho más rápido de lo que podría una persona.
- Y el cartel de la puerta, robots.txt, puede pasarlo de largo, porque los navegadores normales no lo leen.
¿Lee robots.txt?
No cuentes con ello. Los navegadores normales no leen robots.txt, así que quien se hace pasar por uno también puede saltárselo.
Si tienes una web
A un robot disfrazado no se le para con robots.txt. Lo que sirve es lo mismo que contra los scripts: cerrar con llave lo secreto y hacer esperar a quien pregunta demasiado a menudo.
Algunos de esta clase
Fuentes, leídas el 3 de noviembre de 2026: rfc-editor.org (se abre en una ventana nueva, fuera de Pyssly) · rfc-editor.org (se abre en una ventana nueva, fuera de Pyssly)
Desconocidos
Un robot desconocido dice que es un robot, pero no cuál, o no dice nada en absoluto. Entonces nadie sabe quién lo envió, ni por qué.
Lo que hace
- Sale de entre la niebla.
- Solo dice: Soy un robot. Sin nombre.
- Trae una página, o unas cuantas.
- Luego vuelve a desaparecer en la niebla.
¿Lee robots.txt?
A veces. Algunos leen robots.txt, pero sin nombre el cartel no puede decirles nada a ellos en concreto, solo a todos los robots a la vez.
Si tienes una web
Una regla en robots.txt para todos los robots, User-agent: *, también vale para los desconocidos, si hacen caso.
Algunos de esta clase
Fuentes, leídas el 3 de noviembre de 2026: rfc-editor.org (se abre en una ventana nueva, fuera de Pyssly) · rfc-editor.org (se abre en una ventana nueva, fuera de Pyssly)
Qué es robots.txt lo aprendes en la escuela de robots, en la página El tarro.