OAI-SearchBot i GPTBot rešavaju dva različita pitanja. OAI-SearchBot je vezan za pretragu i mogućnost da se stranice pojave u odgovorima ChatGPT search funkcija. GPTBot je vezan za prikupljanje sadržaja koji može biti korišćen za treniranje OpenAI generativnih foundation modela. Zato odluka da dozvolite ili blokirate jedan bot ne mora automatski da bude ista kao odluka za drugi.
U praktičnom smislu, možete dozvoliti OAI-SearchBot kako biste zadržali mogućnost search visibility u ChatGPT-u, a istovremeno blokirati GPTBot ako ne želite da se sadržaj koristi za treniranje foundation modela. Ta dva pravila treba posmatrati odvojeno, baš kao što se odvojeno planiraju tehnički SEO signali, dostupnost sadržaja i politika korišćenja podataka.
Šta radi OAI-SearchBot, a šta GPTBot?
| Bot | Primarna funkcija | Šta kontrolišete blokiranjem? |
|---|---|---|
| OAI-SearchBot | Pretraživanje i pronalaženje sadržaja za ChatGPT search funkcije | Da li sadržaj može da bude prikazan u search odgovorima ChatGPT-a |
| GPTBot | Crawling sadržaja koji može biti korišćen za treniranje generativnih foundation modela | Da li sadržaj treba da bude korišćen u svrhe treniranja foundation modela |
OpenAI navodi da su ova podešavanja nezavisna. Takođe navodi da sajtovi koji isključe OAI-SearchBot neće biti prikazani u ChatGPT search odgovorima, iako mogu ostati dostupni kao navigacioni linkovi. Nasuprot tome, blokiranje GPTBot-a signalizira da sadržaj ne treba koristiti za treniranje generativnih foundation modela.
Najvažnija razlika: search visibility nije isto što i training opt-out
Najčešća greška je pretpostavka da dozvola za search crawler automatski znači dozvolu za treniranje modela. To nije ispravno tumačenje. Uloga OAI-SearchBot-a je vezana za pronalaženje i korišćenje stranica u kontekstu pretrage. Uloga GPTBot-a je vezana za sadržaj koji može biti deo procesa razvoja i treniranja foundation modela.
Praktičan primer izgleda ovako:
- kompanija želi da njeni vodiči budu pronađeni kada korisnik postavi relevantno pitanje u ChatGPT search-u;
- ista kompanija ne želi da se ti vodiči koriste za treniranje generativnih foundation modela;
- u tom slučaju može dozvoliti OAI-SearchBot, a blokirati GPTBot.
Drugi scenario je suprotan: sajt može dozvoliti GPTBot, ali blokirati OAI-SearchBot. Tada se odluka o potencijalnom korišćenju sadržaja za treniranje razlikuje od odluke o pojavljivanju u ChatGPT search rezultatima. To može biti opravdano iz poslovnih ili policy razloga, ali nije isto što i optimizacija vidljivosti.
Važno je i treće ograničenje: robots.txt pravilo za ova dva user-agenta nije univerzalna zabrana za svaki oblik pristupa sajtu. OpenAI posebno navodi da se ChatGPT-User koristi za određene radnje pokrenute od strane korisnika i da taj user-agent nije mehanizam za kontrolu automatskog search crawlovanja. Za search opt-out relevantan je OAI-SearchBot, ne ChatGPT-User.
Kako izgleda robots.txt odluka u praksi?
Ako želite da dozvolite ChatGPT search crawling, a da istovremeno izrazite training opt-out za GPTBot, osnovni obrazac može izgledati ovako:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Ovo nije zamena za proveru celog robots.txt fajla. Pre objave treba proveriti da li postoje šira pravila za User-agent: *, specifične zabrane po direktorijumima ili konfliktne deklaracije koje mogu promeniti ponašanje crawlera. Takođe treba proveriti da li CDN, WAF ili hosting sloj blokira objavljene IP opsege koje OpenAI koristi.
Ako želite da blokirate oba bota, pravila mogu biti eksplicitna:
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
Međutim, takva postavka ima dve različite posledice: smanjuje dostupnost sadržaja za ChatGPT search i istovremeno šalje training opt-out signal za GPTBot. Ne treba je uvoditi samo zato što su botovi navedeni jedan pored drugog u dokumentaciji.
Tri odluke koje treba doneti pre izmene pravila
1. Da li želite search dostupnost u ChatGPT-u?
Ako je odgovor da, OAI-SearchBot treba da bude dozvoljen za stranice koje imaju javnu, korisnu i aktuelnu informaciju. To ne znači da će svaka stranica biti izabrana u svakom odgovoru, niti da robots.txt sam po sebi obezbeđuje vidljivost. On uklanja jednu tehničku prepreku, ali ne zamenjuje kvalitet sadržaja, jasnu strukturu, dostupnost stranice i druge signale koje sistemi mogu koristiti pri izboru izvora.
Za širu kontrolu nad dostupnošću sadržaja u AI search okruženju korisno je povezati ovu odluku sa pravilima za robots.txt za AI Search, posebno kada ne želite da otvarate ceo sajt bez selekcije.
2. Da li želite training opt-out za OpenAI foundation modele?
Ako je odgovor da, GPTBot treba blokirati na nivou domena ili na precizno definisanim putanjama. Pre toga treba napraviti inventar sadržaja: javne vodiče, dokumentaciju, premium materijale, korisničke unose, arhivu i URL-ove koji su slučajno dostupni bez autentikacije.
Blokiranje GPTBot-a treba posmatrati kao policy i governance odluku, a ne samo kao SEO podešavanje. Timovi za marketing, legal, product i engineering mogu imati različite interese, pa robots.txt promena ne bi trebalo da bude uvedena bez jasnog vlasnika odluke.
3. Da li je sadržaj tehnički dostupan crawleru?
Dozvoljen bot ne može da koristi stranicu ako server vraća grešku, ako je sadržaj dostupan tek posle interakcije ili ako je ključni tekst ubačen na način koji crawler i renderer ne mogu pouzdano da obrade. Zato se bot pravila proveravaju zajedno sa status kodovima, canonical signalima, internim linkovima, JavaScript renderovanjem i kontrolama pristupa.
Ako je sadržaj zavisan od JavaScript-a, pročitajte i vodič o JavaScript sadržaju u AI Search-u. Ako je problem u više verzija iste stranice, relevantniji je tekst o canonical signalima i AI retrieval-u.
Da li treba dozvoliti OAI-SearchBot na celom sajtu?
Ne nužno. Najjednostavnija postavka je često dozvola za ceo javni sajt, ali ona nije uvek najbolja. Organizacije sa privatnim dokumentima, zastarelim arhivama, korisničkim sadržajem ili eksperimentalnim sekcijama mogu želeti selektivniju kontrolu.
Pre odluke napravite grupe URL-ova:
- javni editorial i service sadržaj koji želite da bude pronađen;
- zastarele ili privremene stranice koje ne želite da budu korišćene kao kontekst;
- interni, korisnički ili poverljivi sadržaj koji ne pripada javnom retrieval sloju;
- duplikati i tehničke varijante koje treba rešiti canonical i internim linkovima, a ne samo robots.txt-om.
Za discovery nemojte očekivati da XML sitemap sam reši problem. Sitemap može pomoći da se javne URL adrese otkriju, ali ne zamenjuje robots.txt, kvalitet odgovora servera i izbor kanonske verzije. Kada je to relevantno, pogledajte i XML sitemap i AI discovery.
Šta znači napomena da OpenAI može koristiti jedan crawl za oba slučaja?
OpenAI navodi da, kada su oba bota dozvoljena, može koristiti rezultate jednog crawla za oba slučaja kako bi izbegao duplirano crawling ponašanje. To ne znači da OAI-SearchBot i GPTBot postaju isti bot, niti da se njihove robots.txt uloge spajaju u jedno pravilo.
Praktična posledica je da treba jasno definisati politiku pre nego što oba user-agenta budu dozvoljena. Ako je namera da search bude dozvoljen, a training ne, ta namera treba da bude vidljiva kroz odvojena pravila. Ako je namera drugačija, dokumentujte razlog i testirajte da li konfiguracija zaista odgovara politici organizacije.
Kako proveriti da li je promena stvarno primenjena?
- Proverite da robots.txt vraća HTTP status 200 i da se servira na pravom hostu, uključujući www ili non-www varijantu.
- Proverite da li CDN, WAF ili firewall vraća drugačiji robots.txt ili blokira objavljene IP opsege.
- Pregledajte server logove i tražite stvarne zahteve sa user-agent oznakama OAI-SearchBot i GPTBot.
- Proverite da nema pravila koje se slučajno preklapa sa specifičnim pravilom za jedan bot.
- Sačuvajte datum, prethodnu verziju fajla i razlog promene, kako bi se kasnije mogla povezati sa izmenama u search dostupnosti.
OpenAI navodi da posle izmene robots.txt može biti potrebno približno 24 sata da se podešavanja za search prilagode. Zato neposredan test ne treba tumačiti kao konačan dokaz da je nova politika već svuda primenjena. Ako je promena važna za poslovni sadržaj, pratite logove i stanje dostupnosti tokom narednih dana.
Kako ovo uklopiti u širu SEO odluku?
OAI-SearchBot i GPTBot nisu zamena za tehnički SEO niti za širu SEO optimizaciju. Oni rešavaju usko pitanje kontrole pristupa jednog ekosistema crawlera. Ipak, odluka ima smisla samo ako je povezana sa širim planom: koje stranice treba da budu javno dostupne, koje činjenice brend želi da objasni, kako su organizovane kanonske verzije i da li je sadržaj razumljiv bez oslanjanja na klijentsko izvršavanje skripti.
Kada su problem status kodovi, renderovanje, canonical pravila, crawl budget ili nekonzistentna dostupnost URL-ova, uključite i tehnički SEO. Kada je fokus isključivo na odvojenoj politici search visibility i training opt-out-a, robots.txt je početna kontrolna tačka, ali ne i jedini tehnički sloj koji treba pregledati.
Praktičan zaključak
Najkraće pravilo glasi: OAI-SearchBot kontroliše potencijalnu vidljivost u ChatGPT search-u, a GPTBot kontroliše stav prema korišćenju sadržaja za treniranje OpenAI foundation modela. Ako želite search prisustvo bez training dozvole, tipična odluka je da dozvolite OAI-SearchBot i blokirate GPTBot, uz proveru da nema drugih tehničkih ili policy ograničenja.
Sledeći korak nije nasumična izmena robots.txt fajla, već dokumentovana odluka po grupama URL-ova. Zapišite šta želite da bude pronađeno, šta ne želite da bude korišćeno za trening, proverite dostupnost stranica i tek onda primenite odvojena pravila.
