Sådan virker robotterne
Robotter på nettet er programmer, der læser hjemmesider af sig selv. Der findes mange slags, og de gør forskellige ting. Her kan du se trin for trin, hvad hver slags gør, og nogle af de robotter, vi har mødt.
Ny her? Sådan hænger det sammen
Søgerobotter
En søgerobot læser hjemmesider for en søgemaskine, som Google eller Bing. Den vil vide, hvad der står på hver side, så søgemaskinen kan vise den rigtige side, når du søger efter noget.
Sådan gør den
- Først læser den robots.txt, skiltet ved døren, der siger, hvilke sider robotter må læse.
- Så henter den en side og læser alt, hvad der står på den.
- På siden er der links til andre sider. Robotten følger dem, et ad gangen.
- Det, den har læst, sorterer den ind i søgemaskinens register, som kort i en stor kortkasse.
- Efter et stykke tid kommer den tilbage og ser, hvad der er ændret.
Læser den robots.txt?
De store søgerobotter siger, at de gør, som robots.txt siger. Er en side lukket for dem, læser de den ikke.
Hvis du har en hjemmeside
Vil du have, at folk skal finde din side, så luk søgerobotterne ind. Er der noget, de ikke må læse, så skriv det i robots.txt. Men noget, der skal være hemmeligt, kræver en adgangskode, for robots.txt er bare et skilt.
Kilder, læst 3. november 2026: developers.google.com (åbner i et nyt vindue uden for Pyssly) · rfc-editor.org (åbner i et nyt vindue uden for Pyssly)
AI-robotter
AI-firmaerne har flere slags robotter. Nogle samler tekst, som et AI-program kan lære af. Andre henter sider, når nogen spørger firmaets chatbot om noget.
Sådan gør den
- Robotterne, der samler tekst, læser robots.txt først, siger firmaerne.
- Så henter de side efter side og putter teksten i en stor sæk.
- Af alt det, der er samlet, lærer AI-programmet, hvordan sprog virker.
- En anden dag spørger et menneske chatbotten om noget.
- Så kan firmaet sende en henterobot, som for eksempel henter netop den side.
- Henterobotten tager siden med tilbage, og chatbotten svarer med hjælp fra den.
Læser den robots.txt?
Robotterne, der samler tekst, siger, at de lytter til robots.txt. Med henterobotterne er det anderledes: når et menneske har bedt om siden, siger nogle firmaer, at robots.txt ikke altid gælder.
Hvis du har en hjemmeside
I robots.txt kan du sige nej til robotterne, der samler tekst til AI, hver med sit navn, og stadig lukke søgerobotterne ind. Firmaerne skriver navnene på deres robotter på deres egne sider.
Nogle af denne slags
Kilder, læst 3. november 2026: developers.openai.com (åbner i et nyt vindue uden for Pyssly) · support.claude.com (åbner i et nyt vindue uden for Pyssly)
SEO-værktøjer
Et SEO-værktøj er en robot, der måler andres hjemmesider. Firmaer bruger det til at se, hvordan deres egen side klarer sig i søgemaskinerne sammenlignet med andres.
Sådan gør den
- Den læser robots.txt først.
- Så måler den siden: hvad den hedder, hvor stor den er, og hvor hurtigt den kommer frem.
- Den tæller linkene: hvilke sider der linker hertil, og hvor denne side linker hen.
- Det hele bliver til en rapport med søjler, som firmaet bag værktøjet sælger til andre.
Læser den robots.txt?
De store SEO-værktøjer siger, at de følger robots.txt, og nogle går langsommere, hvis du beder dem om det.
Hvis du har en hjemmeside
Vil du ikke måles, kan du sige nej til dem en ad gangen i robots.txt. Hos søgemaskiner som Google og Bing ændrer det ikke, om din side bliver fundet, men nogle af værktøjerne samler også ind til deres egen søgemaskine.
Nogle af denne slags
Kilder, læst 3. november 2026: ahrefs.com (åbner i et nyt vindue uden for Pyssly) · semrush.com (åbner i et nyt vindue uden for Pyssly)
Dataindsamlere
En dataindsamler henter masser af hjemmesider og gemmer dem som data. Nogle gange bliver det til et åbent arkiv, som alle må bruge, andre gange til en tjeneste, der sælges til andre.
Sådan gør den
- Den læser robots.txt først.
- Så henter den side efter side, rigtig mange.
- Siderne bundter den sammen til en stor pakke.
- Pakken bliver så brugt af andre, for eksempel til forskning eller til at lære AI-programmer op.
Læser den robots.txt?
De kendte dataindsamlere siger, at de gør, som robots.txt siger.
Hvis du har en hjemmeside
Siger du nej til en dataindsamler i robots.txt, kommer dine nye sider ikke med i dens samlinger. Det, der allerede er samlet, kan blive liggende.
Nogle af denne slags
Kilder, læst 3. november 2026: commoncrawl.org (åbner i et nyt vindue uden for Pyssly) · diffbot.com (åbner i et nyt vindue uden for Pyssly)
Linkkiggere
En linkkigger laver de små kort med billede og overskrift, der dukker op, når nogen sætter et link ind i en chat eller et opslag.
Sådan gør den
- Nogen sætter et link ind i en app på sin telefon.
- Appens robot henter med det samme den side, linket fører til.
- Den plukker sidens overskrift, en sætning og et billede ud.
- Af dem laver den et lille kort, som vises i chatten.
Læser den robots.txt?
Nogle gange. Nogle linkkiggere følger robots.txt, andre henter siden alligevel, fordi det var et menneske, der delte linket.
Hvis du har en hjemmeside
Skriv en tydelig overskrift, en kort beskrivelse og et billede i sidens kode, så bliver kortene flotte. Lukker du linkkiggerne ude, bliver linket bare en linje tekst.
Nogle af denne slags
Kilder, læst 3. november 2026: developers.facebook.com (åbner i et nyt vindue uden for Pyssly)
Scripts
Et script er et lille program, som nogen har skrevet for at hente sider. Det kan være en, der afprøver sin egen side, eller en, der vil kopiere andres.
Sådan gør den
- Nogen skriver en liste over, hvilke sider der skal hentes.
- Programmet starter og henter den første side.
- Så den næste og den næste, præcis som listen siger, så hurtigt det kan.
- Når listen er slut, stopper det. Måske sagde det aldrig, hvem det var.
Læser den robots.txt?
Det kommer an på det. Et script gør det, der står på listen, og læser kun robots.txt, hvis den, der skrev det, har bedt det om det.
Hvis du har en hjemmeside
robots.txt hjælper ikke mod et script, der ikke læser den. Det, der hjælper, er at låse det hemmelige inde og lade den, der spørger for tit, vente.
Nogle af denne slags
Kilder, læst 3. november 2026: rfc-editor.org (åbner i et nyt vindue uden for Pyssly) · rfc-editor.org (åbner i et nyt vindue uden for Pyssly)
Domænespejdere
Hver dag bliver der lavet tusindvis af nye webadresser. En domænespejder er en robot, der holder øje med dem og kigger ind på hver ny hjemmeside.
Sådan gør den
- Hele tiden bliver der registreret nye adresser rundt om i verden.
- Robotten får en liste over dagens nye adresser.
- Den banker på forsiden hos de nye hjemmesider.
- Det, den ser, skriver den ind i et register, som bliver vist eller solgt til andre.
Læser den robots.txt?
Nogle gange. Nogle læser robots.txt først, andre gør ikke.
Hvis du har en hjemmeside
De kommer tit kort efter, at en hjemmeside er lavet. Vil du ikke have dem, kan du sige nej til dem i robots.txt, men skiltet stopper kun dem, der lytter.
Nogle af denne slags
Kilder, læst 3. november 2026: czds.icann.org (åbner i et nyt vindue uden for Pyssly)
Indbrudstyve
En indbrudstyv er en robot, der leder efter en vej ind. Den går fra hjemmeside til hjemmeside og prøver døre, som mange sider har, for eksempel login til WordPress.
Sådan gør den
- Robotten tager en maske på og går hen til en hjemmeside.
- Den banker på døre, som måske findes der, som /wp-login.php eller /.env.
- Den prøver nøgler: almindelige adgangskoder, en efter en.
- Findes døren ikke, eller holder låsen, går den videre til den næste hjemmeside.
Læser den robots.txt?
Regn ikke med det. robots.txt er et skilt og ikke en lås, og den, der leder efter en vej ind, kan gå forbi det.
Hvis du har en hjemmeside
Hold alt opdateret, brug lange adgangskoder og totrinslogin, og læg aldrig hemmelige filer et sted, hvor nettet kan nå dem.
Nogle af denne slags
Kilder, læst 3. november 2026: developer.wordpress.org (åbner i et nyt vindue uden for Pyssly) · rfc-editor.org (åbner i et nyt vindue uden for Pyssly)
Udklædte
En udklædt robot lader, som om den er en almindelig browser, ligesom den, du selv bruger. Den vil ikke have, at siden finder ud af, at den er en robot.
Sådan gør den
- Robotten finder en maske frem.
- Med masken på siger den: Jeg er en helt almindelig browser!
- Men den kan læse side efter side, meget hurtigere end et menneske kan nå.
- Og skiltet ved døren, robots.txt, kan den gå forbi, for almindelige browsere læser det ikke.
Læser den robots.txt?
Regn ikke med det. Almindelige browsere læser ikke robots.txt, så den, der lader, som om den er en browser, kan også lade være.
Hvis du har en hjemmeside
En udklædt robot kan ikke stoppes med robots.txt. Det, der hjælper, er det samme som mod scripts: lås det hemmelige inde, og lad den, der spørger for tit, vente.
Nogle af denne slags
Kilder, læst 3. november 2026: rfc-editor.org (åbner i et nyt vindue uden for Pyssly) · rfc-editor.org (åbner i et nyt vindue uden for Pyssly)
Ukendte
En ukendt robot siger, at den er en robot, men ikke hvilken, eller siger slet ingenting. Så ved ingen, hvem der har sendt den, eller hvorfor.
Sådan gør den
- Den kommer frem fra tågen.
- Den siger bare: Jeg er en robot. Intet navn.
- Den henter en side, eller nogle få.
- Så forsvinder den ind i tågen igen.
Læser den robots.txt?
Nogle gange. Nogle læser robots.txt, men uden et navn kan skiltet ikke sige noget til netop dem, kun til alle robotter på én gang.
Hvis du har en hjemmeside
En regel i robots.txt for alle robotter, User-agent: *, gælder også de ukendte, hvis de lytter.
Nogle af denne slags
Kilder, læst 3. november 2026: rfc-editor.org (åbner i et nyt vindue uden for Pyssly) · rfc-editor.org (åbner i et nyt vindue uden for Pyssly)
Hvad robots.txt er, lærer du i Robotskolen på siden Syltetøjsglasset.