Googlebot i Google-Extended nisu dve verzije istog crawlera i ne kontrolišu istu stvar. Googlebot je povezan sa indeksiranjem i prikazivanjem stranica u Google Search-u, dok je Google-Extended robots.txt product token kojim izdavači mogu da ograniče korišćenje sadržaja za treniranje i druge načine korišćenja koje Google obuhvata tim tokenom u određenim sistemima.
Ova razlika je posebno važna ako pokušavate da rešite jedno od dva različita pitanja: da li Google sme da pristupi stranici za Search ili da li Google-ovi sistemi smeju da koriste sadržaj na način obuhvaćen Google-Extended kontrolom. Nijedno od tih pravila nije univerzalna zabrana svakog AI korišćenja niti treba iz njega izvoditi zaključke o svim Google proizvodima.
Ukratko: Googlebot nije isto što i Google-Extended
| Kontrola | Šta reguliše | Tipičan cilj |
|---|---|---|
| Googlebot | Pristup stranici za Google Search | Preuzimanje, indeksiranje i potencijalno prikazivanje u rezultatima |
| Google-Extended | Korišćenje sadržaja u određenim Google sistemima | Ograničavanje treniranja ili drugih obuhvaćenih načina korišćenja, bez automatskog blokiranja Search-a |
| nosnippet, data-nosnippet, max-snippet | Prikazivanje pregleda sadržaja u Search-u | Kontrola snippet-a i delova teksta koji se prikazuju |
| noindex | Indeksiranje stranice | Sprečavanje uključivanja stranice u Google indeks, kada je direktiva dostupna crawleru |
Šta kontroliše Googlebot?
Googlebot je naziv za Google-ove crawlere koji posećuju javno dostupne stranice kako bi ih otkrili, obradili i potencijalno uključili u Search. Pravila u robots.txt mogu da ograniče njegovo preuzimanje stranica, ali sama po sebi nisu način da se kontroliše svaki oblik korišćenja već preuzetog sadržaja.
Ako blokirate Googlebot, stranica može izgubiti mogućnost da bude preuzeta za Google Search. To može uticati na indeksiranje, osvežavanje sadržaja i prikazivanje stranice u rezultatima. Zbog toga robots.txt pravilo za Googlebot ne treba koristiti kao zamenu za kontrolu AI korišćenja sadržaja.
Primer blokiranja Googlebota
User-agent: Googlebot
Disallow: /privatno/Ovim primerom se Googlebotu zabranjuje preuzimanje putanja koje počinju sa /privatno/. Posledica se odnosi na Google Search pristup, a ne predstavlja preciznu zamenu za Google-Extended kontrolu.
Šta je Google-Extended?
Google-Extended je robots.txt product token koji vlasnicima sajtova omogućava da ograniče određene načine korišćenja sadržaja sa sajta za treniranje generativnih AI modela i druge načine korišćenja koje Google dokumentuje za taj token. Ta kontrola važi samo za korišćenja koja Google trenutno obuhvata Google-Extended tokenom.
Google-Extended nije Search crawl, index ili noindex kontrola. Sam token ne određuje da li će stranica biti prikazana ili rangirana u Search-u; za te ciljeve koriste se odgovarajuće Search kontrole. Možete, dakle, dozvoliti Googlebotu da pristupa stranici za Search, a istovremeno ograničiti Google-Extended. Google-Extended takođe ne znači da je automatski blokirano svako korišćenje teksta, svako treniranje ili svaki Google AI proizvod koji nije obuhvaćen tom kontrolom.
Primer kontrole Google-Extended tokena
User-agent: Google-Extended
Disallow: /Ovo pravilo izražava nameru da se Google-Extended pristup ograniči za ceo sajt, dok ne blokira Googlebot. Pre primene proverite aktuelnu Google dokumentaciju i testirajte robots.txt, naročito ako koristite CDN, WAF ili drugo serversko pravilo koje može promeniti odgovor.
Robots.txt, meta robots i X-Robots-Tag nisu ista kontrola
Važno je razlikovati nivo na kom se pravilo primenjuje. robots.txt govori crawleru da li sme da zatraži određenu putanju. Ako je pristup zabranjen, crawler možda neće moći da pročita sadržaj stranice niti meta direktivu u njenom HTML-u. Zato noindex, nosnippet i slična pravila ne treba skrivati iza blokade koja sprečava Googlebot da do njih dođe.
meta robots direktive nalaze se u HTML-u stranice, dok se X-Robots-Tag šalje u HTTP zaglavlju i može da se primeni i na ne-HTML resurse. One su namenjene kontroli indeksiranja i pregleda sadržaja nakon što crawler može da preuzme odgovor. Google-Extended je drugačiji slučaj: to je product token u robots.txt-u koji se odnosi na obuhvaćene načine korišćenja u Google sistemima, a ne na Search snippet ili indeksiranje.
Google Search kontrole i AI kontrole rešavaju različite probleme
Google u dokumentaciji za AI Features navodi da se AI Overviews i AI Mode oslanjaju na postojeće Search sisteme i da za pojavljivanje u tim funkcijama ne postoje posebni tehnički zahtevi, dodatni fajlovi ili poseban schema.org markup. Osnovni uslovi ostaju isti: stranica treba da bude dostupna Googlebotu, indeksirana i podobna za prikaz sa snippet-om.
Zato je važno razlikovati sledeće scenarije:
- Želite da budete vidljivi u Search-u: ne blokirajte Googlebot bez jasnog razloga i proverite dostupnost za preuzimanje, indeksiranje i internu povezanost.
- Želite da ograničite snippet: koristite
nosnippet,data-nosnippetilimax-snippet, u skladu sa potrebnim nivoom kontrole. - Želite da uklonite stranicu iz Search-a: razmotrite
noindex, uz uslov da Google može da pročita tu direktivu. - Želite da ograničite korišćenje sadržaja u određenim Google sistemima: razmotrite Google-Extended robots.txt token, uz ogradu da pokriva samo korišćenja koja Google njime obuhvata.
Da li Google-Extended sprečava pojavljivanje u AI Overviews?
Ne treba ga tretirati kao direktnu kontrolu za prikazivanje stranice u Google Search AI funkcijama. Google navodi da su AI funkcije deo Search-a i da se za ograničavanje informacija koje se prikazuju u Search-u koriste postojeće kontrole kao što su nosnippet, data-nosnippet, max-snippet i noindex.
Google-Extended je namenjen drugom sloju kontrole: treniranju i drugim načinima korišćenja u određenim Google sistemima koji nisu isto što i samo rangiranje ili prikaz stranice u Search rezultatima. Ovaj zaključak odnosi se na AI Features u Google Search-u prema navedenoj dokumentaciji; iz njega ne treba automatski izvoditi kako će se ponašati drugi Google proizvodi ili sistemi.
Kako da izaberete odgovarajuću kontrolu?
1. Prvo definišite šta želite da blokirate
Pre izmene robots.txt odgovorite na konkretno pitanje: da li blokirate preuzimanje, indeksiranje, snippet ili AI korišćenje? Jedno pravilo ne rešava automatski sva četiri problema.
2. Proverite da li vam je Search saobraćaj važan
Ako je stranica deo organskog akvizicionog kanala, blokiranje Googlebota može imati šire posledice od očekivanih. Pre izmene proverite URL-ove koji donose impresije i klikove u GSC-u, kao i njihovu ulogu u internoj strukturi sajta.
3. Koristite najmanje restriktivnu kontrolu koja rešava cilj
Ako vam smeta samo prikazivanje odlomaka, nemojte automatski blokirati preuzimanje. Ako želite da zadržite Search vidljivost, a ograničite korišćenje sadržaja obuhvaćeno Google-Extended pravilom, razdvojite te kontrole.
4. Testirajte i sačekajte ponovno preuzimanje
Izmena robots.txt ili preview direktive ne mora odmah promeniti ponašanje sistema. Vreme ponovnog preuzimanja zavisi od toga kada Google ponovo poseti i obradi stranicu, pa promena ne mora biti primenjena odmah. Proverite aktuelnu Google dokumentaciju i stanje u alatima; za Search kontrole koristite URL Inspection i proverite HTML koji je Googlebot zaista primio.
Najčešće greške
- Blokiranje Googlebota u nameri da se spreči AI korišćenje: time možete ugroziti Search preuzimanje, a ne rešiti cilj koji ste imali.
- Očekivanje da Google-Extended uklanja stranicu iz Search-a: ovaj token nije zamena za
noindexili preview kontrole. - Dodavanje nepostojećeg AI markup-a: Google navodi da nisu potrebni posebni AI fajlovi, AI tekstualni fajlovi ili poseban schema.org tip da bi se stranica pojavila u AI funkcijama Search-a.
- Zanemarivanje CDN-a i hostinga: pravilo mora biti primenjeno na odgovor koji crawler stvarno dobija, ne samo na konfiguraciju servera porekla koju ste lokalno izmenili.
- Mešanje robots.txt i meta direktiva: robots.txt kontroliše pristup crawlera, dok meta robots i X-Robots-Tag kontrolišu direktive koje crawler mora da učita sa stranice.
Praktična kontrolna lista za tehnički SEO
- Popišite stranice za koje želite Search vidljivost.
- Proverite robots.txt i pravila za Googlebot.
- Odvojeno definišite stav prema Google-Extended tokenu.
- Za snippet i indeksiranje izaberite odgovarajuću preview ili robots direktivu.
- Proverite da li CDN, WAF i hosting vraćaju ista pravila kao server porekla.
- Testirajte kritične URL-ove u GSC URL Inspection alatu.
- Posle objave pratite preuzimanje, indeksiranje i organski saobraćaj; promene ne moraju biti trenutne.
Zaključak
Googlebot kontroliše pristup Google Search-u, dok Google-Extended kontroliše posebnu vrstu korišćenja sadržaja samo u meri u kojoj je to obuhvaćeno Google-Extended pravilima. Ako želite da ograničite ono što se prikazuje u Search-u, koristite preview kontrole ili noindex prema konkretnom cilju. Ako želite da zadržite Search dostupnost, ali ograničite korišćenje sadržaja u sistemima obuhvaćenim Google-Extended kontrolom, primenjujte ta pravila odvojeno.
Google-Extended zato ne treba posmatrati kao univerzalni prekidač za sve Google AI proizvode, niti kao direktnu kontrolu za AI Overviews ili AI Mode. Zaključak o Search AI funkcijama odnosi se na način na koji Google dokumentacija opisuje AI Features u okviru Search-a; za druge proizvode ne treba pretpostavljati isto ponašanje bez posebne dokumentacije.
Pravilna implementacija počinje preciznom definicijom cilja, a završava se proverom stvarnog odgovora koji Google crawler dobija. Za širi kontekst tehničke optimizacije pogledajte naš vodič za SEO optimizaciju.
Povezane teme: nosnippet, data-nosnippet i max-snippet: kontrola sadržaja u AI Search-u · Robots.txt vodič: kako kontrolisati crawl bez grešaka u indeksiranju
