GPTBot, ClaudeBot, PerplexityBot, Google-Extended — mida iga AI-robot teeb ja kuidas otsustada, keda oma saidile lubada. Koos valmis robots.txt näidetega.
Aastaid külastasid saite peamiselt otsingurobotid (Googlebot, Bingbot).
Nüüd on lisandunud AI-robotid — ja paljud saidiomanikud ei tea, et
nende robots.txt neid blokeerib või lubab, sest otsuse tegi kunagi
mõni pistik või hostinguteenus vaikimisi.
See juhend selgitab, kes su ust kolistavad ja mis juhtub, kui sa neile avad või ei ava.
| Robot | Kelle oma | Mida teeb |
|---|---|---|
GPTBot | OpenAI | Kogub sisu mudelite treeninguks |
OAI-SearchBot | OpenAI | Indekseerib ChatGPT otsingu jaoks |
ChatGPT-User | OpenAI | Külastab lehte kasutaja päringu ajal |
ClaudeBot | Anthropic | Kogub sisu Claude'i jaoks |
PerplexityBot | Perplexity | Indekseerib Perplexity otsingu jaoks |
Google-Extended | Sisu kasutus Gemini treeninguks (EI mõjuta Google'i otsingut) | |
CCBot | Common Crawl | Avalik veebiarhiiv, mida kasutavad paljud AI-projektid |
Oluline vahe, millest tihti mööda vaadatakse: treeningrobot (GPTBot, Google-Extended) ja otsingurobot (OAI-SearchBot, PerplexityBot) on eri asjad. Esimese blokeerimine piirab sisu kasutamist mudeli õpetamiseks; teise blokeerimine kustutab su AI-otsingust — koos klientidega.
2023–2024 blokeeris osa saite AI-robotid hirmust sisu „varastamise” ees. Meediaväljaandel, kes elatub sisust endast, võib sel loogika olla. Ettevõttel, kes tahab kliente, on see enda nähtamatuks tegemine:
Lihtne reegel: kui su ärimudel on klientide saamine (mitte sisu müümine), luba AI-robotid.
Kõige lihtsam robots.txt, mis seda teeb:
User-agent: *
Allow: /
Sitemap: https://sinudomeen.ee/sitemap.xml
Kui tahad olla eksplitsiitne (ja kaitsta ainult halduslehti):
User-agent: *
Disallow: /wp-admin/
Allow: /
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://sinudomeen.ee/sitemap.xml
Kui sisu treeninguks andmine häirib, aga kliente tahad — luba otsingurobotid ja blokeeri ainult treeningrobotid:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Aus märkus: piir treeningu ja otsingu vahel ei ole täiuslikult tihe ja robotite rollid muutuvad. Aga see on parim praegu saadaolev kontrollimehhanism.
sinudomeen.ee/robots.txt brauserisGPTBot, Claude, Perplexity, ExtendedDisallow: / reeglilga — tead nüüd,
miks AI sind ei tsiteeriWordPressis haldavad robots.txt-i tihti SEO-pistikud (Yoast, Rank Math) — blokeering võib olla pistiku seadetes, mitte failis endas.
Ja kui robotid on lubatud, anna neile ka midagi head lugeda: llms.txt on fail, mille nad esimesena üles otsivad. Genereeri tasuta →
Suurte tegijate (OpenAI, Anthropic, Google, Perplexity) robotid austavad robots.txt-i deklareeritult. Väiksemad ja hämaramad kraapijad ei pruugi — robots.txt on viisakusprotokoll, mitte tulemüür. Klientide saamise vaatest on olulised just suured, kes reegleid järgivad.
Ei — Google on kinnitanud, et Google-Extended ei mõjuta otsingu järjestust ega AI Overview'des osalemist. See juhib ainult sisu kasutamist Gemini mudelite treeninguks.
Serveri logidest user-agent'i järgi (GPTBot, ClaudeBot jt) või hostingu statistikast. Mõni CDN (nt Cloudflare) näitab robotiliiklust eraldi vaates. Külastuste olemasolu on hea märk: sind loetakse.
Common Crawl on avalik arhiiv, mida kasutavad sajad uurimisprojektid ja ka AI-mudelid. Kui su eesmärk on maksimaalne nähtavus, luba; kui tahad sisu levikut piirata, on CCBot mõistlik esimene kandidaat blokeerimiseks — see ei ole ühegi otsingumootori robot.
Kohalikke teenuseid otsitakse nüüd ka ChatGPT-st. Juhend, kuidas olla nähtav nii Google Mapsis kui AI-vastustes — profiilist arvustuste ja llms.txt-ni.
LoeTasuta konkurentsianalüüs, mida enamik Eesti ettevõtteid pole veel teinud: küsi AI-mootoritelt oma valdkonna soovitusi ja loe välja, miks võitjad võidavad.
Loe