Så funkar robotarna
Robotar på webben är program som läser webbsidor av sig själva. Det finns många sorter, och de gör olika saker. Här ser du steg för steg vad varje sort gör, och några av robotarna vi har träffat.
Ny här? Så hänger det ihop
Sökrobotar
En sökrobot läser webbsidor åt en sökmotor, som Google eller Bing. Den vill veta vad som står på varje sida, så att sökmotorn kan visa rätt sida när du söker efter något.
Så gör den
- Först läser den robots.txt, lappen vid dörren som säger vilka sidor robotar får läsa.
- Sedan hämtar den en sida och läser allt som står på den.
- På sidan finns länkar till andra sidor. Roboten följer dem, en efter en.
- Det den har läst sorterar den in i sökmotorns register, som kort i en stor kortlåda.
- Efter ett tag kommer den tillbaka och ser vad som har ändrats.
Läser den robots.txt?
De stora sökrobotarna säger att de gör som robots.txt säger. Är en sida stängd för dem läser de den inte.
Om du har en webbplats
Vill du att folk ska hitta din sida, släpp in sökrobotarna. Är det något de inte ska läsa, skriv det i robots.txt. Men något som ska vara hemligt behöver ett lösenord, för robots.txt är bara en skylt.
Källor, lästa 3 november 2026: developers.google.com (öppnas i ett nytt fönster utanför Pyssly) · rfc-editor.org (öppnas i ett nytt fönster utanför Pyssly)
AI-robotar
AI-företagen har flera sorters robotar. En del samlar text som ett AI-program kan lära sig av. Andra hämtar sidor när någon frågar företagets chattbot om något.
Så gör den
- Robotarna som samlar text läser robots.txt först, säger företagen.
- Sedan hämtar de sida efter sida och lägger texten i en stor säck.
- Av allt som har samlats lär sig AI-programmet hur språk fungerar.
- En annan dag frågar en människa chattboten om något.
- Då kan företaget skicka en hämtare, som till exempel hämtar just den sidan.
- Hämtaren tar med sig sidan tillbaka, och chattboten svarar med hjälp av den.
Läser den robots.txt?
Robotarna som samlar text säger att de lyssnar på robots.txt. Med hämtarna är det annorlunda: när en människa har bett om sidan säger en del företag att robots.txt inte alltid gäller.
Om du har en webbplats
I robots.txt kan du säga nej till robotarna som samlar text åt AI, var och en med sitt namn, och ändå släppa in sökrobotarna. Företagen skriver namnen på sina robotar på sina egna sidor.
Några av den här sorten
Källor, lästa 3 november 2026: developers.openai.com (öppnas i ett nytt fönster utanför Pyssly) · support.claude.com (öppnas i ett nytt fönster utanför Pyssly)
SEO-verktyg
Ett SEO-verktyg är en robot som mäter andras webbplatser. Företag använder den för att se hur deras egen sida syns i sökmotorerna, jämfört med andras.
Så gör den
- Den läser robots.txt först.
- Sedan mäter den sidan: vad den heter, hur stor den är och hur snabbt den laddas.
- Den räknar länkarna: vilka sidor som länkar hit, och vart den här sidan länkar.
- Allt blir en rapport med stapeldiagram, som företaget bakom verktyget säljer till andra.
Läser den robots.txt?
De stora SEO-verktygen säger att de följer robots.txt, och några går långsammare om du ber dem.
Om du har en webbplats
Vill du inte bli mätt kan du säga nej till dem en och en i robots.txt. Hos sökmotorer som Google och Bing ändrar det inte om din sida syns, men en del av verktygen samlar också åt en egen sökmotor.
Några av den här sorten
Källor, lästa 3 november 2026: ahrefs.com (öppnas i ett nytt fönster utanför Pyssly) · semrush.com (öppnas i ett nytt fönster utanför Pyssly)
Datasamlare
En datasamlare hämtar massor av webbsidor och sparar dem som data. Ibland blir det ett öppet arkiv som vem som helst får använda, ibland en tjänst som säljs till andra.
Så gör den
- Den läser robots.txt först.
- Sedan hämtar den sida efter sida, väldigt många.
- Sidorna buntar den ihop till ett stort paket.
- Paketet används sedan av andra, till exempel för forskning eller för att lära AI-program.
Läser den robots.txt?
De kända datasamlarna säger att de gör som robots.txt säger.
Om du har en webbplats
Säger du nej till en datasamlare i robots.txt kommer dina nya sidor inte med i dess samlingar. Det som redan har samlats kan finnas kvar.
Några av den här sorten
Källor, lästa 3 november 2026: commoncrawl.org (öppnas i ett nytt fönster utanför Pyssly) · diffbot.com (öppnas i ett nytt fönster utanför Pyssly)
Länkkikare
En länkkikare gör de små korten med bild och rubrik som dyker upp när någon klistrar in en länk i en chatt eller ett inlägg.
Så gör den
- Någon klistrar in en länk i en app på sin telefon.
- Appens robot hämtar sidan som länken leder till, direkt.
- Den plockar ut sidans rubrik, en mening och en bild.
- Av dem gör den ett litet kort som visas i chatten.
Läser den robots.txt?
Ibland. En del länkkikare följer robots.txt, andra hämtar sidan ändå, eftersom det var en människa som delade länken.
Om du har en webbplats
Skriv en tydlig rubrik, en kort beskrivning och en bild i sidans kod, så blir korten fina. Stänger du ute länkkikarna blir länken bara en rad text.
Några av den här sorten
Källor, lästa 3 november 2026: developers.facebook.com (öppnas i ett nytt fönster utanför Pyssly)
Skript
Ett skript är ett litet program som någon har skrivit för att hämta sidor. Det kan vara någon som provar sin egen sida, eller någon som vill kopiera andras.
Så gör den
- Någon skriver en lista på vilka sidor som ska hämtas.
- Programmet startar och hämtar den första sidan.
- Sedan nästa och nästa, precis som listan säger, så fort det kan.
- När listan är slut stannar det. Kanske sa det aldrig vem det var.
Läser den robots.txt?
Det beror på. Ett skript gör det som står på listan, och läser robots.txt bara om den som skrev det har bett det.
Om du har en webbplats
robots.txt hjälper inte mot ett skript som inte läser den. Det som hjälper är att låsa det som ska vara hemligt och att låta den som frågar för ofta vänta.
Några av den här sorten
Källor, lästa 3 november 2026: rfc-editor.org (öppnas i ett nytt fönster utanför Pyssly) · rfc-editor.org (öppnas i ett nytt fönster utanför Pyssly)
Domänspanare
Varje dag skapas tusentals nya webbadresser. En domänspanare är en robot som håller koll på dem och tittar in på varje ny webbplats.
Så gör den
- Hela tiden registreras nya adresser runt om i världen.
- Roboten får en lista på dagens nya adresser.
- Den knackar på framsidan hos de nya webbplatserna.
- Det den ser skriver den in i ett register, som visas eller säljs till andra.
Läser den robots.txt?
Ibland. En del läser robots.txt först, andra inte.
Om du har en webbplats
De kommer ofta strax efter att en webbplats har skapats. Vill du inte ha dem kan du säga nej till dem i robots.txt, men skylten stoppar bara dem som lyssnar.
Några av den här sorten
Källor, lästa 3 november 2026: czds.icann.org (öppnas i ett nytt fönster utanför Pyssly)
Inbrottstjuvar
En inbrottstjuv är en robot som letar efter ett sätt att ta sig in. Den går från webbplats till webbplats och provar dörrar som många sajter har, till exempel inloggningen till WordPress.
Så gör den
- Roboten tar på sig en mask och går till en webbplats.
- Den knackar på dörrar som kanske finns där, som /wp-login.php eller /.env.
- Den provar nycklar: vanliga lösenord, ett efter ett.
- Finns inte dörren, eller håller låset, går den vidare till nästa webbplats.
Läser den robots.txt?
Räkna inte med det. robots.txt är en skylt och inget lås, och den som letar efter en väg in kan gå förbi den.
Om du har en webbplats
Håll allt uppdaterat, använd långa lösenord och tvåstegsinloggning, och lägg aldrig hemliga filer där webben kan nå dem.
Några av den här sorten
Källor, lästa 3 november 2026: developer.wordpress.org (öppnas i ett nytt fönster utanför Pyssly) · rfc-editor.org (öppnas i ett nytt fönster utanför Pyssly)
Utklädda
En utklädd robot låtsas vara en vanlig webbläsare, som den du själv använder. Den vill inte att sidan ska förstå att den är en robot.
Så gör den
- Roboten tar fram en mask.
- Med masken på säger den: Jag är en vanlig webbläsare!
- Men den kan läsa sida efter sida, mycket fortare än en människa hinner.
- Och skylten vid dörren, robots.txt, kan den gå förbi, för vanliga webbläsare läser den inte.
Läser den robots.txt?
Räkna inte med det. Vanliga webbläsare läser inte robots.txt, så den som låtsas vara en kan låta bli också.
Om du har en webbplats
En utklädd robot går inte att stoppa med robots.txt. Det som hjälper är detsamma som mot skript: lås det hemliga och låt den som frågar för ofta vänta.
Några av den här sorten
Källor, lästa 3 november 2026: rfc-editor.org (öppnas i ett nytt fönster utanför Pyssly) · rfc-editor.org (öppnas i ett nytt fönster utanför Pyssly)
Okända
En okänd robot säger att den är en robot men inte vilken, eller säger ingenting alls. Då vet ingen vem som skickade den, eller varför.
Så gör den
- Den kommer fram ur dimman.
- Den säger bara: Jag är en robot. Inget namn.
- Den hämtar en sida, eller några.
- Sedan försvinner den in i dimman igen.
Läser den robots.txt?
Ibland. En del läser robots.txt, men utan namn kan skylten inte säga något just till dem, bara till alla robotar på en gång.
Om du har en webbplats
En regel i robots.txt för alla robotar, User-agent: *, gäller också de okända, om de lyssnar.
Några av den här sorten
Källor, lästa 3 november 2026: rfc-editor.org (öppnas i ett nytt fönster utanför Pyssly) · rfc-editor.org (öppnas i ett nytt fönster utanför Pyssly)
Vad robots.txt är lär du dig i Robotskolan, i Syltburken.