Näin robotit toimivat
Verkon robotit ovat ohjelmia, jotka lukevat verkkosivuja itsekseen. Niitä on monenlaisia, ja ne tekevät eri asioita. Tässä näet vaihe vaiheelta, mitä kukin tekee, ja muutamia robotteja, jotka olemme tavanneet.
Ensimmäistä kertaa täällä? Näin kaikki liittyy yhteen
Hakurobotit
Hakurobotti lukee verkkosivuja hakukoneelle, kuten Googlelle tai Bingille. Se haluaa tietää, mitä kullakin sivulla lukee, jotta hakukone voi näyttää oikean sivun, kun etsit jotain.
Näin se toimii
- Ensin se lukee robots.txt-tiedoston, oven vieressä olevan kyltin, joka kertoo, mitä sivuja robotit saavat lukea.
- Sitten se hakee sivun ja lukee kaiken, mitä siinä lukee.
- Sivulla on linkkejä toisille sivuille. Robotti seuraa niitä yksi kerrallaan.
- Lukemansa se järjestää hakukoneen hakemistoon, kuin kortit isoon korttilaatikkoon.
- Jonkin ajan päästä se tulee takaisin katsomaan, mikä on muuttunut.
Lukeeko se robots.txt-tiedoston?
Suuret hakurobotit sanovat tekevänsä niin kuin robots.txt sanoo. Jos sivu on suljettu niiltä, ne eivät lue sitä.
Jos sinulla on verkkosivusto
Jos haluat, että sivusi löydetään, päästä hakurobotit sisään. Jos jotain ei saa lukea, kirjoita se robots.txt-tiedostoon. Salainen asia tarvitsee kuitenkin salasanan, sillä robots.txt on vain kyltti.
Lähteet, luettu 3. marraskuuta 2026: developers.google.com (avautuu uuteen ikkunaan Pysslyn ulkopuolelle) · rfc-editor.org (avautuu uuteen ikkunaan Pysslyn ulkopuolelle)
Tekoälyrobotit
Tekoälyyrityksillä on monenlaisia robotteja. Osa kerää tekstiä, josta tekoälyohjelma voi oppia. Toiset noutavat sivuja, kun joku kysyy yrityksen chattibotilta jotakin.
Näin se toimii
- Tekstiä keräävät robotit lukevat ensin robots.txt-tiedoston, yritykset sanovat.
- Sitten ne hakevat sivun toisensa jälkeen ja panevat tekstin isoon säkkiin.
- Kaikesta kerätystä tekoälyohjelma oppii, miten kieli toimii.
- Toisena päivänä ihminen kysyy chattibotilta jotain.
- Silloin yritys voi lähettää noutorobotin, joka noutaa esimerkiksi juuri sen sivun.
- Noutorobotti tuo sivun takaisin, ja chattibotti vastaa sen avulla.
Lukeeko se robots.txt-tiedoston?
Tekstiä keräävät robotit sanovat kuuntelevansa robots.txt-tiedostoa. Noutorobotit ovat eri asia: kun ihminen on pyytänyt sivua, jotkut yritykset sanovat, ettei robots.txt aina koske niitä.
Jos sinulla on verkkosivusto
robots.txt-tiedostossa voit kieltää tekoälylle tekstiä keräävät robotit, kunkin omalla nimellään, ja silti päästää hakurobotit sisään. Yritykset kertovat robottiensa nimet omilla sivuillaan.
Muutamia tätä lajia
Lähteet, luettu 3. marraskuuta 2026: developers.openai.com (avautuu uuteen ikkunaan Pysslyn ulkopuolelle) · support.claude.com (avautuu uuteen ikkunaan Pysslyn ulkopuolelle)
SEO-työkalut
SEO-työkalu on robotti, joka mittaa muiden verkkosivustoja. Yritykset käyttävät sitä nähdäkseen, miten niiden oma sivusto näkyy hakukoneissa muihin verrattuna.
Näin se toimii
- Se lukee ensin robots.txt-tiedoston.
- Sitten se mittaa sivun: mikä sen nimi on, kuinka iso se on ja kuinka nopeasti se latautuu.
- Se laskee linkit: mitkä sivut linkittävät tänne ja minne tämä sivu linkittää.
- Kaikesta tulee raportti pylväineen, jota työkalun takana oleva yritys myy muille.
Lukeeko se robots.txt-tiedoston?
Suuret SEO-työkalut sanovat noudattavansa robots.txt-tiedostoa, ja jotkut kulkevat hitaammin, jos pyydät.
Jos sinulla on verkkosivusto
Jos et halua tulla mitatuksi, voit kieltää ne yksi kerrallaan robots.txt-tiedostossa. Googlen ja Bingin kaltaisissa hakukoneissa se ei muuta sitä, näkyykö sivusi, mutta osa työkaluista kerää tietoa myös omaa hakukonettaan varten.
Muutamia tätä lajia
Lähteet, luettu 3. marraskuuta 2026: ahrefs.com (avautuu uuteen ikkunaan Pysslyn ulkopuolelle) · semrush.com (avautuu uuteen ikkunaan Pysslyn ulkopuolelle)
Tiedonkerääjät
Tiedonkerääjä hakee valtavasti verkkosivuja ja tallentaa ne datana. Joskus siitä tulee avoin arkisto, jota kuka tahansa saa käyttää, joskus palvelu, jota myydään muille.
Näin se toimii
- Se lukee ensin robots.txt-tiedoston.
- Sitten se hakee sivun toisensa jälkeen, todella monta.
- Sivut se niputtaa yhdeksi isoksi paketiksi.
- Muut käyttävät pakettia sitten esimerkiksi tutkimukseen tai tekoälyohjelmien opettamiseen.
Lukeeko se robots.txt-tiedoston?
Tunnetut tiedonkerääjät sanovat tekevänsä niin kuin robots.txt sanoo.
Jos sinulla on verkkosivusto
Jos kiellät tiedonkerääjän robots.txt-tiedostossa, uudet sivusi eivät päädy sen kokoelmiin. Se, mikä on jo kerätty, voi jäädä niihin.
Muutamia tätä lajia
Lähteet, luettu 3. marraskuuta 2026: commoncrawl.org (avautuu uuteen ikkunaan Pysslyn ulkopuolelle) · diffbot.com (avautuu uuteen ikkunaan Pysslyn ulkopuolelle)
Linkkikurkkijat
Linkkikurkkija tekee ne pienet kortit, joissa on kuva ja otsikko ja jotka ilmestyvät, kun joku liittää linkin keskusteluun tai julkaisuun.
Näin se toimii
- Joku liittää linkin puhelimensa sovellukseen.
- Sovelluksen robotti hakee heti sivun, johon linkki vie.
- Se poimii sivun otsikon, yhden lauseen ja kuvan.
- Niistä se tekee pienen kortin, joka näkyy keskustelussa.
Lukeeko se robots.txt-tiedoston?
Joskus. Osa linkkikurkkijoista noudattaa robots.txt-tiedostoa, toiset hakevat sivun silti, koska linkin jakoi ihminen.
Jos sinulla on verkkosivusto
Kirjoita sivun koodiin selkeä otsikko, lyhyt kuvaus ja kuva, niin korteista tulee hienoja. Jos suljet linkkikurkkijat ulos, linkki on pelkkä tekstirivi.
Muutamia tätä lajia
Lähteet, luettu 3. marraskuuta 2026: developers.facebook.com (avautuu uuteen ikkunaan Pysslyn ulkopuolelle)
Skriptit
Skripti on pieni ohjelma, jonka joku on kirjoittanut sivujen hakemiseen. Sen takana voi olla joku, joka kokeilee omaa sivustoaan, tai joku, joka haluaa kopioida muiden sivuja.
Näin se toimii
- Joku kirjoittaa listan sivuista, jotka pitää hakea.
- Ohjelma käynnistyy ja hakee ensimmäisen sivun.
- Sitten seuraavan ja seuraavan, juuri niin kuin lista sanoo, niin nopeasti kuin se pystyy.
- Kun lista loppuu, se pysähtyy. Se ei ehkä koskaan kertonut, kuka se on.
Lukeeko se robots.txt-tiedoston?
Se riippuu. Skripti tekee sen, mitä listalla lukee, ja lukee robots.txt-tiedoston vain, jos sen kirjoittaja on käskenyt.
Jos sinulla on verkkosivusto
robots.txt ei auta skriptiä vastaan, joka ei lue sitä. Apua on siitä, että lukitset salaiset asiat ja panet liian usein kysyvän odottamaan.
Muutamia tätä lajia
Lähteet, luettu 3. marraskuuta 2026: rfc-editor.org (avautuu uuteen ikkunaan Pysslyn ulkopuolelle) · rfc-editor.org (avautuu uuteen ikkunaan Pysslyn ulkopuolelle)
Verkkotunnusten tähystäjät
Joka päivä syntyy tuhansia uusia verkko-osoitteita. Verkkotunnusten tähystäjä on robotti, joka pitää niistä kirjaa ja käy kurkistamassa jokaisella uudella sivustolla.
Näin se toimii
- Ympäri maailmaa rekisteröidään koko ajan uusia osoitteita.
- Robotti saa listan päivän uusista osoitteista.
- Se koputtaa uusien sivustojen etusivuille.
- Näkemänsä se kirjoittaa rekisteriin, joka näytetään tai myydään muille.
Lukeeko se robots.txt-tiedoston?
Joskus. Osa lukee robots.txt-tiedoston ensin, osa ei.
Jos sinulla on verkkosivusto
Ne tulevat usein pian sen jälkeen, kun sivusto on luotu. Jos et halua niitä, voit kieltää ne robots.txt-tiedostossa, mutta kyltti pysäyttää vain ne, jotka kuuntelevat.
Muutamia tätä lajia
Lähteet, luettu 3. marraskuuta 2026: czds.icann.org (avautuu uuteen ikkunaan Pysslyn ulkopuolelle)
Murtovarkaat
Murtovaras on robotti, joka etsii keinoa päästä sisään. Se kulkee sivustolta toiselle ja kokeilee ovia, joita monella sivustolla on, esimerkiksi WordPressin kirjautumista.
Näin se toimii
- Robotti panee naamion kasvoilleen ja menee sivustolle.
- Se koputtaa oviin, joita siellä ehkä on, kuten /wp-login.php tai /.env.
- Se kokeilee avaimia: tavallisia salasanoja yksi toisensa jälkeen.
- Jos ovea ei ole tai lukko pitää, se jatkaa seuraavalle sivustolle.
Lukeeko se robots.txt-tiedoston?
Siihen ei kannata luottaa. robots.txt on kyltti eikä lukko, ja joka etsii tietä sisään, voi kulkea sen ohi.
Jos sinulla on verkkosivusto
Pidä kaikki päivitettynä, käytä pitkiä salasanoja ja kaksivaiheista tunnistautumista, äläkä koskaan pane salaisia tiedostoja paikkaan, johon verkosta pääsee.
Muutamia tätä lajia
Lähteet, luettu 3. marraskuuta 2026: developer.wordpress.org (avautuu uuteen ikkunaan Pysslyn ulkopuolelle) · rfc-editor.org (avautuu uuteen ikkunaan Pysslyn ulkopuolelle)
Valepukuiset
Valepukuinen robotti esittää tavallista selainta, samanlaista kuin sinä itse käytät. Se ei halua, että sivu tajuaa sen olevan robotti.
Näin se toimii
- Robotti ottaa esiin naamion.
- Naamio kasvoillaan se sanoo: Olen ihan tavallinen selain!
- Mutta se voi lukea sivun toisensa jälkeen paljon nopeammin kuin ihminen ehtisi.
- Ja oven vieressä olevan kyltin, robots.txt-tiedoston, se voi ohittaa, koska tavalliset selaimet eivät lue sitä.
Lukeeko se robots.txt-tiedoston?
Siihen ei kannata luottaa. Tavalliset selaimet eivät lue robots.txt-tiedostoa, joten selaimeksi naamioitunutkin voi jättää sen lukematta.
Jos sinulla on verkkosivusto
Valepukuista robottia ei voi pysäyttää robots.txt-tiedostolla. Apua on samasta kuin skriptejä vastaan: lukitse salaiset asiat ja pane liian usein kysyvä odottamaan.
Muutamia tätä lajia
Lähteet, luettu 3. marraskuuta 2026: rfc-editor.org (avautuu uuteen ikkunaan Pysslyn ulkopuolelle) · rfc-editor.org (avautuu uuteen ikkunaan Pysslyn ulkopuolelle)
Tuntemattomat
Tuntematon robotti kertoo olevansa robotti mutta ei sitä, mikä robotti, tai ei kerro mitään. Silloin kukaan ei tiedä, kuka sen lähetti tai miksi.
Näin se toimii
- Se tulee esiin sumusta.
- Se sanoo vain: Olen robotti. Ei nimeä.
- Se hakee sivun tai muutaman.
- Sitten se katoaa taas sumuun.
Lukeeko se robots.txt-tiedoston?
Joskus. Osa lukee robots.txt-tiedoston, mutta ilman nimeä kyltti ei voi sanoa mitään juuri niille, vain kaikille roboteille kerralla.
Jos sinulla on verkkosivusto
robots.txt-tiedoston sääntö kaikille roboteille, User-agent: *, koskee myös tuntemattomia, jos ne kuuntelevat.
Muutamia tätä lajia
Lähteet, luettu 3. marraskuuta 2026: rfc-editor.org (avautuu uuteen ikkunaan Pysslyn ulkopuolelle) · rfc-editor.org (avautuu uuteen ikkunaan Pysslyn ulkopuolelle)
Mikä robots.txt on, sen opit Robottikoulussa sivulla Robottipurkki.