Kolm faili saidi juurkaustas, kolm eri rolli. Selge võrdlus: mida iga fail teeb, kellele see on mõeldud ja miks sul on vaja kõiki kolme.
Iga veebisaidi juurkaustas võib elada kolm väikest tekstifaili, mida tavaline külastaja kunagi ei näe — aga mida loevad robotid, kes otsustavad, kas ja kuidas sinu saiti inimestele näidatakse:
robots.txt — reeglid: kuhu robot tohib minnasitemap.xml — kaart: millised lehed on olemasllms.txt — sisukokkuvõte: mida see sait üldse pakubNeed kolm aetakse tihti omavahel segi. Vaatame ükshaaval läbi, mida iga fail teeb — ja miks üks ei asenda teist.
| robots.txt | sitemap.xml | llms.txt | |
|---|---|---|---|
| Vastab küsimusele | Kuhu tohib minna? | Mis lehed olemas on? | Mida see sait pakub? |
| Kellele mõeldud | Kõik robotid | Otsingumootorid | AI-mootorid |
| Formaat | Tekstireeglid | XML-loend | Markdown |
| Sisu | Luba/keela reeglid | URL-id + kuupäevad | Struktureeritud kokkuvõte |
| Standardi vanus | 1994 | 2005 | 2024 |
| Kohustuslik? | Ei | Ei | Ei |
Kõik kolm on vabatahtlikud — ja ometi on kaks esimest igal korralikul saidil olemas. llms.txt on liikumas sama rada.
robots.txt on vanim kolmest (1994). See ütleb robotitele, millistesse saidi osadesse nad tohivad siseneda ja millistesse mitte.
User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://sinusait.ee/sitemap.xml
Mida robots.txt EI tee: ta ei ütle robotile midagi sinu äri kohta. Ta on puhtalt liikluskorraldaja.
AI-ajastu nüanss: robots.txt-ga saad AI-roboteid ka blokeerida
(User-agent: GPTBot + Disallow: /). Mõni sait tegi seda 2023–2024
hirmust, et AI „varastab sisu“. Kui su eesmärk on kliente
saada, on see 2026. aastal enda jalga tulistamine — blokeeritud sait ei
saa AI-vastustes eksisteerida.
sitemap.xml (2005, Google'i algatus) on masinloetav loend kõigist sinu saidi lehtedest koos viimase muutmise kuupäevaga.
<url>
<loc>https://sinusait.ee/tooted</loc>
<lastmod>2026-07-01</lastmod>
</url>
Mida sitemap.xml EI tee: ta ei erista olulist ebaolulisest. 1000 URL-i on seal kõik võrdsed — avaleht ja 2019. aasta jõulukampaania leht näevad välja täpselt ühesugused. Robot peab ise iga lehe avama ja aru saama, mis seal on.
llms.txt (2024, Jeremy Howardi ettepanek) on Markdown-fail, mis annab AI-le sinu saidist sisulise pildi: kes sa oled, mis on su peamised tooted ja teenused, kust leida hindu ja kontakte.
# Kiirkuller OÜ
> Kullerteenus Tallinnas ja Harjumaal — pakivedu eraisikutele ja ettevõtetele samal päeval.
## Teenused
- [Linnasisene vedu](https://kiirkuller24.ee/linnavedu): pakk kohale samal päeval, alates €7
- [Ekspressvedu](https://kiirkuller24.ee/ekspress): kätte 90 minutiga, alates €15
## Kontakt
- [Kontakt](https://kiirkuller24.ee/kontakt): Peterburi tee 46, Tallinn · info@kiirkuller24.ee
Miks see AI-le oluline on: suure keelemudeli „tähelepanu“ on kallis ressurss. Kui AI peab sinu pakkumise kokku pusima 40 lehelt, kus iga leht on täis menüüsid, bännereid ja turundusteksti, jääb pilt udune — või valmib konkurendi pealt, kelle info oli selgem. llms.txt annab sama pildi ühe failiga.
Jah. Nad ei konkureeri, vaid täiendavad üksteist:
Kui robots.txt blokeerib AI-robotid, ei loe keegi su llms.txt-i. Kui llms.txt puudub, peab AI su saidist ise aru saama — mõnikord saab, mõnikord mitte, ja mõnikord saab valesti.
sinusait.ee/robots.txt — kas AI-robotid on lubatud?sinusait.ee/sitemap.xml — kas see on olemas ja värske?sinusait.ee/llms.txt — kui näed 404, on see sinu järgmine sammKolmanda punkti saab korda 30 sekundiga: genereeri tasuta llms.txt →
Ei tohiks. Kui robots.txt blokeerib AI-robotid, ei pääse nad ka llms.txt failini. Enne llms.txt lisamist kontrolli, et robots.txt lubab AI-robotitel (GPTBot, ClaudeBot, PerplexityBot jt) saiti lugeda.
Ei — formaat on vale. Sitemap on URL-ide loend ilma sisukirjeldusteta; llms.txt sisaldab pealkirju, kirjeldusi ja struktuuri, millest keelemudel saab otse aru. Need on eri tööriistad eri lugejatele.
Google ei ole ametlikult kinnitanud llms.txt kasutamist oma otsingus. Fail on mõeldud eelkõige AI-assistentidele ja AI-otsingumootoritele. Klassikalise Google-otsingu jaoks jäävad sitemap.xml ja hea sisu endiselt põhiliseks.
Kõik kolm käivad saidi juurkausta ja peavad avanema otse domeeni alt: sinusait.ee/robots.txt, sinusait.ee/sitemap.xml ja sinusait.ee/llms.txt. Alamkaustas olevaid faile robotid ei otsi.
Liitu ja saad esimese kirjaga 18-punktilise kontrollnimekirja, mille salvestad soovi korral ühe klikiga PDF-iks. Lisaks kord kuus uued juhendid ja AI-otsingu uudised Eestist.
llms.txt on uus standard, mis aitab ChatGPT-l, Claude’il ja Perplexityl mõista veebisaite. Loe, mis see on ja miks oluline.
LoeHea llms.txt anatoomia koos näidisfailiga: struktuur, kirjelduste reeglid ja viis mustrit, mis eristavad kasulikku faili automaatsest lehtede loendist.
LoeOriginaaluuring: 13,7% tuntud Eesti saitidest on llms.txt faili kasutusele võtnud. Pangad 0%, SaaS 36%, haridus 43%. Täielikud tulemused kategooriate kaupa.
Loe