Pyssly

Die RoboterDas Einmachglas

So funktionieren die Roboter

Roboter im Web sind Programme, die Webseiten von selbst lesen. Es gibt viele Arten, und sie machen ganz verschiedene Dinge. Hier siehst du Schritt für Schritt, was jede Art tut, und einige der Roboter, die wir getroffen haben.

Neu hier? So hängt alles zusammen

KI-Roboter

KI-Firmen haben mehrere Arten von Robotern. Manche sammeln Text, aus dem ein KI-Programm lernen kann. Andere holen Seiten, wenn jemand den Chatbot der Firma etwas fragt.

So macht er es

  1. Die Roboter, die Text sammeln, lesen zuerst robots.txt, sagen die Firmen.
  2. Dann holen sie Seite um Seite und stecken den Text in einen großen Sack.
  3. Aus allem, was gesammelt wurde, lernt das KI-Programm, wie Sprache funktioniert.
  4. An einem anderen Tag fragt ein Mensch den Chatbot etwas.
  5. Dann kann die Firma einen Abrufroboter losschicken, der zum Beispiel genau diese Seite holt.
  6. Der Abrufroboter bringt die Seite zurück, und der Chatbot antwortet mit ihrer Hilfe.

Liest er robots.txt?

Die Roboter, die Text sammeln, sagen, dass sie auf robots.txt hören. Bei den Abrufrobotern ist es anders: Wenn ein Mensch nach der Seite gefragt hat, sagen manche Firmen, dass robots.txt nicht immer gilt.

Wenn du eine Website hast

In robots.txt kannst du den Robotern, die Text für KI sammeln, einzeln Nein sagen, indem du ihren jeweiligen Namen angibst, und trotzdem die Suchroboter hereinlassen. Die Firmen schreiben die Namen ihrer Roboter auf ihre eigenen Seiten.

Einige dieser Art

Quellen, gelesen am 3. November 2026: developers.openai.com · support.claude.com

SEO-Werkzeuge

Ein SEO-Werkzeug ist ein Roboter, der die Websites anderer vermisst. Firmen nutzen es, um zu sehen, wie gut ihre eigene Seite in den Suchmaschinen zu finden ist, verglichen mit anderen.

So macht er es

  1. Er liest zuerst robots.txt.
  2. Dann vermisst er die Seite: wie sie heißt, wie groß sie ist und wie schnell sie lädt.
  3. Er zählt die Links: welche Seiten hierher verlinken und wohin diese Seite verlinkt.
  4. Aus allem wird ein Bericht mit Balken, den die Firma hinter dem Werkzeug an andere verkauft.

Liest er robots.txt?

Die großen SEO-Werkzeuge sagen, dass sie robots.txt befolgen, und manche werden langsamer, wenn du sie darum bittest.

Wenn du eine Website hast

Wenn du nicht vermessen werden willst, kannst du ihnen einzeln in robots.txt Nein sagen. Bei Suchmaschinen wie Google und Bing ändert das nichts daran, ob deine Seite gefunden wird, aber manche dieser Werkzeuge sammeln auch für eine eigene Suchmaschine.

Einige dieser Art

Quellen, gelesen am 3. November 2026: ahrefs.com · semrush.com

Datensammler

Ein Datensammler holt riesig viele Webseiten und speichert sie als Daten. Manchmal wird daraus ein offenes Archiv, das jeder nutzen darf, manchmal ein Dienst, der an andere verkauft wird.

So macht er es

  1. Er liest zuerst robots.txt.
  2. Dann holt er Seite um Seite, ganz viele.
  3. Die Seiten schnürt er zu einem großen Paket zusammen.
  4. Das Paket nutzen dann andere, zum Beispiel für die Forschung oder um KI-Programmen etwas beizubringen.

Liest er robots.txt?

Die bekannten Datensammler sagen, dass sie tun, was in robots.txt steht.

Wenn du eine Website hast

Sagst du einem Datensammler in robots.txt Nein, kommen deine neuen Seiten nicht in seine Sammlungen. Was schon gesammelt wurde, kann dort bleiben.

Einige dieser Art

Quellen, gelesen am 3. November 2026: commoncrawl.org · diffbot.com

Linkgucker

Ein Linkgucker macht die kleinen Karten mit Bild und Überschrift, die auftauchen, wenn jemand einen Link in einen Chat oder einen Beitrag einfügt.

So macht er es

  1. Jemand fügt einen Link in eine App auf seinem Handy ein.
  2. Der Roboter der App holt sofort die Seite, zu der der Link führt.
  3. Er pickt die Überschrift der Seite heraus, einen Satz und ein Bild.
  4. Daraus macht er eine kleine Karte, die im Chat erscheint.

Liest er robots.txt?

Manchmal. Manche Linkgucker befolgen robots.txt, andere holen die Seite trotzdem, weil ein Mensch den Link geteilt hat.

Wenn du eine Website hast

Schreib eine klare Überschrift, eine kurze Beschreibung und ein Bild in den Code deiner Seite, dann werden die Karten schön. Sperrst du die Linkgucker aus, ist der Link nur eine Zeile Text.

Einige dieser Art

Quellen, gelesen am 3. November 2026: developers.facebook.com

Skripte

Ein Skript ist ein kleines Programm, das jemand geschrieben hat, um Seiten zu holen. Dahinter kann jemand stecken, der seine eigene Seite ausprobiert, oder jemand, der die Seiten anderer kopieren will.

So macht er es

  1. Jemand schreibt eine Liste, welche Seiten geholt werden sollen.
  2. Das Programm startet und holt die erste Seite.
  3. Dann die nächste und die nächste, genau wie es auf der Liste steht, so schnell es kann.
  4. Wenn die Liste zu Ende ist, hört es auf. Vielleicht hat es nie gesagt, wer es ist.

Liest er robots.txt?

Das kommt darauf an. Ein Skript macht, was auf der Liste steht, und liest robots.txt nur, wenn sein Schreiber es darum gebeten hat.

Wenn du eine Website hast

robots.txt hilft nicht gegen ein Skript, das sie nicht liest. Was hilft: das Geheime abschließen und den, der zu oft fragt, warten lassen.

Einige dieser Art

Quellen, gelesen am 3. November 2026: rfc-editor.org · rfc-editor.org

Domain-Späher

Jeden Tag entstehen Tausende neue Webadressen. Ein Domain-Späher ist ein Roboter, der sie im Blick behält und bei jeder neuen Website kurz hereinschaut.

So macht er es

  1. Überall auf der Welt werden ständig neue Adressen angemeldet.
  2. Der Roboter bekommt eine Liste mit den neuen Adressen des Tages.
  3. Er klopft bei den neuen Websites an die Startseite.
  4. Was er sieht, trägt er in ein Verzeichnis ein, das gezeigt oder an andere verkauft wird.

Liest er robots.txt?

Manchmal. Manche lesen zuerst robots.txt, andere nicht.

Wenn du eine Website hast

Sie kommen oft kurz nachdem eine Website entstanden ist. Wenn du sie nicht willst, kannst du ihnen in robots.txt Nein sagen, aber das Schild hält nur die auf, die darauf hören.

Einige dieser Art

Quellen, gelesen am 3. November 2026: czds.icann.org

Einbrecher

Ein Einbrecher ist ein Roboter, der einen Weg hinein sucht. Er geht von Website zu Website und probiert Türen aus, die viele Seiten haben, zum Beispiel die Anmeldung bei WordPress.

So macht er es

  1. Der Roboter setzt eine Maske auf und geht zu einer Website.
  2. Er klopft an Türen, die es dort vielleicht gibt, wie /wp-login.php oder /.env.
  3. Er probiert Schlüssel aus: gängige Passwörter, eins nach dem anderen.
  4. Gibt es die Tür nicht, oder hält das Schloss, zieht er weiter zur nächsten Website.

Liest er robots.txt?

Verlass dich nicht darauf. robots.txt ist ein Schild und kein Schloss, und wer einen Weg hinein sucht, kann daran vorbeigehen.

Wenn du eine Website hast

Halte alles auf dem neuesten Stand, nimm lange Passwörter und die Anmeldung in zwei Schritten, und leg nie geheime Dateien dorthin, wo das Web sie erreichen kann.

Einige dieser Art

Quellen, gelesen am 3. November 2026: developer.wordpress.org · rfc-editor.org

Verkleidete

Ein verkleideter Roboter tut so, als wäre er ein ganz normaler Browser, wie der, den du selbst benutzt. Er will nicht, dass die Seite merkt, dass er ein Roboter ist.

So macht er es

  1. Der Roboter holt eine Maske hervor.
  2. Mit der Maske auf sagt er: Ich bin ein ganz normaler Browser!
  3. Aber er kann Seite um Seite lesen, viel schneller, als ein Mensch es schaffen würde.
  4. Und am Schild an der Tür, robots.txt, kann er vorbeigehen, denn normale Browser lesen es nicht.

Liest er robots.txt?

Verlass dich nicht darauf. Normale Browser lesen robots.txt nicht, also kann es auch einer auslassen, der sich als Browser verkleidet.

Wenn du eine Website hast

Einen verkleideten Roboter hält robots.txt nicht auf. Was hilft, ist dasselbe wie bei Skripten: das Geheime abschließen und den, der zu oft fragt, warten lassen.

Einige dieser Art

Quellen, gelesen am 3. November 2026: rfc-editor.org · rfc-editor.org

Unbekannte

Ein unbekannter Roboter sagt, dass er ein Roboter ist, aber nicht, welcher, oder er sagt gar nichts. Dann weiß niemand, wer ihn geschickt hat oder warum.

So macht er es

  1. Er kommt aus dem Nebel.
  2. Er sagt nur: Ich bin ein Roboter. Kein Name.
  3. Er holt eine Seite, oder ein paar.
  4. Dann verschwindet er wieder im Nebel.

Liest er robots.txt?

Manchmal. Manche lesen robots.txt, aber ohne Namen kann das Schild keine Anweisungen speziell für sie geben, sondern nur für alle Roboter auf einmal.

Wenn du eine Website hast

Eine Regel in robots.txt für alle Roboter, User-agent: *, gilt auch für die unbekannten, wenn sie darauf hören.

Einige dieser Art

Quellen, gelesen am 3. November 2026: rfc-editor.org · rfc-editor.org

Was robots.txt ist, lernst du in der Roboterschule, auf der Seite Das Einmachglas.