Ako želite da proverite da li AI pretraživači zaista dolaze na sajt, server logovi su precizniji izvor od pretpostavki na osnovu robots.txt fajla ili pojedinačnog testa u browseru. Log beleži konkretan zahtev: IP adresu, vreme, URL, HTTP status, User-Agent i često referer ili vreme odziva.
Za AI crawler log analizu najvažnije je da razdvojite tri pitanja: da li je zahtev stvarno došao od željenog crawlera, koje URL-ove je posetio i kako je server odgovorio. OAI-SearchBot je OpenAI crawler namenjen pretraživanju i prikazivanju sajtova u ChatGPT Search funkcijama, dok je Bingbot standardni crawler Bing pretraživača. Sam User-Agent nije dovoljan dokaz autentičnosti, jer ga drugi klijenti mogu falsifikovati.
Praktičan cilj nije da sakupite što više poseta botova, već da vidite da li relevantne stranice dobijaju uspešan odgovor, da li se crawler zadržava na nevažnim URL-ovima i da li postoje tehničke prepreke. Širi tehnički kontekst za rešavanje takvih prepreka nalazi se u vodiču za tehnički SEO, dok je SEO optimizacija mesto za povezivanje log nalaza sa ukupnom strategijom sadržaja i vidljivosti.
Šta server log treba da sadrži
Za osnovnu analizu dovoljan je standardni access log, ali je korisno da format sadrži sledeća polja:
- datum i vreme zahteva, po mogućstvu sa vremenskom zonom;
- IP adresu klijenta;
- HTTP metod, najčešće GET ili HEAD;
- traženi URL i query parametre;
- HTTP statusni kod;
- veličinu odgovora;
- Referer, ako ga server beleži;
- User-Agent string;
- vreme obrade zahteva, ako ga aplikacija ili proxy beleži.
Ako koristite CDN, reverse proxy ili web application firewall, proverite gde se čuva originalna IP adresa. U suprotnom možete analizirati IP adresu CDN-a umesto izvornog klijenta. Takođe odvojite access log od error loga: prvi govori šta je zatraženo, a drugi može pokazati zašto je zahtev završio greškom.
Primer reda u logu može izgledati ovako:
2026-09-28T10:14:22Z 203.0.113.10 GET /seo-optimizacija 200 84231 "-" "... OAI-SearchBot/1.4; ..."
Ovo je samo ilustrativan format. IP adresa i verzija crawlera u stvarnom zahtevu moraju se proveravati prema aktuelnoj dokumentaciji provajdera, a ne kopirati iz primera.
Kako filtrirati OAI-SearchBot u logovima
OpenAI navodi da je OAI-SearchBot namenjen pretraživanju i da se njegov User-Agent može prepoznati po oznaci OAI-SearchBot. OpenAI takođe navodi poseban oblik zahteva za robots.txt, u kome se može pojaviti dodatna oznaka robots.txt. To je korisno kada log ne beleži putanju zahteva ili kada želite da razlikujete čitanje robots.txt fajla od zahteva za sadržajne URL-ove.
U analizi nemojte tražiti samo kompletan User-Agent string, jer se njegova verzija može promeniti. Stabilniji pristup je filtriranje po prepoznatljivoj oznaci:
- pronađite zahteve čiji User-Agent sadrži OAI-SearchBot;
- grupišite ih po URL putanji i statusnom kodu;
- izdvojite zahteve ka robots.txt fajlu;
- uporedite broj zahteva sa brojem različitih URL-ova;
- proverite IP adresu prema objavljenim OpenAI IP opsezima pre donošenja zaključka.
U Unix okruženju možete početi jednostavnom pretragom access loga po tekstu OAI-SearchBot, a zatim rezultat izvesti u tabelu po datumima, URL-ovima i statusima. Kod većih sajtova bolje je koristiti parser ili log platformu koja omogućava filtriranje po poljima, jer tekstualna pretraga lako pomeša različite tipove zahteva.
Kako tumačiti robots.txt zahtev
Poseta robots.txt fajlu nije dokaz da je crawler preuzeo ili obradio vašu važnu stranicu. Ona pokazuje da je crawler proverio pravila pristupa. Zato u izveštaju odvojite:
- robots.txt fetch — kontrolni zahtev ka pravilima;
- content fetch — zahtev ka HTML-u, slici, PDF-u ili drugom resursu;
- failed fetch — zahtev koji je završio redirekcijom, greškom ili odbijanjem.
OpenAI navodi da promena robots.txt pravila može zahtevati približno 24 sata da se odrazi na njihove sisteme. Zbog toga neposredno poređenje pre i posle izmene može dati pogrešan zaključak. Posmatrajte period nakon promene i proverite da li se obrazac zahteva za sadržajne URL-ove promenio.
Kako proveriti da li je Bingbot stvarno Bingbot
Bing koristi više oblika User-Agent stringa za Bingbot, uključujući desktop i mobilne varijante. Zajednička oznaka je bingbot, ali Microsoft upozorava da se User-Agent može falsifikovati. Zbog toga zahtev sa tekstom bingbot u logu treba tretirati kao kandidat za verifikaciju, a ne kao potvrđeni Bing zahtev.
Za proveru autentičnosti koristite Bing Webmaster Tools opciju Verify Bingbot ili drugi zvanični metod koji Bing trenutno preporučuje. U praksi je potrebno:
- iz loga izdvojiti IP adresu zahteva;
- proveriti IP kroz zvanični Bing alat;
- zabeležiti rezultat provere i vreme kada je urađena;
- tek onda agregirati zahtev u izveštaj o Bingbot posetama.
Nemojte pokretati reverse DNS proveru za svaki pojedinačni zahtev tokom obrade saobraćaja. To može usporiti server i napraviti dodatno opterećenje. Bolji pristup je da verifikujete nove IP adrese, rezultat keširate u internom procesu i ponovite proveru kada se promeni ponašanje ili izvor zahteva.
Zašto je IP provera važnija od oznake u User-Agentu
Lažni crawler može poslati gotovo identičan User-Agent kao pravi crawler i pokušati da zaobiđe pravila pristupa, optereti server ili prikupi sadržaj. Zato status „Bingbot” u analitičkom izveštaju treba da znači verifikovani Bingbot, a ne samo string pronađen u logu.
Isto pravilo primenite i na OAI-SearchBot: oznaka u User-Agentu je dobar prvi filter, ali za ozbiljnu odluku o whitelistingu ili blokiranju proverite IP prema aktuelnim zvaničnim opsezima. Ako vaš CDN ili WAF menja podatke o klijentu, uskladite proveru sa načinom na koji infrastruktura prosleđuje izvornu adresu.
Koje metrike imaju stvarnu vrednost
Broj zahteva sam po sebi nije naročito koristan. Za AI crawler log analizu napravite izveštaj koji odgovara na operativna pitanja:
| Metrika | Šta pokazuje | Kako je tumačiti |
|---|---|---|
| Broj zahteva | Ukupan obim saobraćaja crawlera | Koristan za opterećenje, ali ne govori da li su posećene važne stranice |
| Broj jedinstvenih URL-ova | Širinu posećene kolekcije | Uporediti sa sitemapom, internim linkovima i prioritetnim URL-ovima |
| Statusni kodovi | Kako server odgovara crawleru | 200, 3xx, 4xx i 5xx odvojiti u zasebne grupe |
| Top putanje | Koji delovi sajta privlače najviše zahteva | Proveriti da li dominiraju važne stranice ili filteri, pretraga i duplikati |
| Vreme odziva | Koliko infrastruktura obrađuje zahtev | Dugi odzivi i greške mogu smanjiti efikasnost crawl procesa |
| Datum poslednje posete | Svežinu crawl signala | Ne mešati poslednju posetu sa indeksiranjem ili citiranjem |
Posebno pratite odnos između prioritetnih URL-ova i svih posećenih URL-ova. Ako crawler često posećuje parametrizovane stranice, interne pretrage ili soft 404 stranice, problem može biti u strukturi linkova, canonical signalima, robots pravilima ili nepotrebnoj generaciji URL-ova. To nije automatski dokaz da će AI sistem ignorisati sadržaj, ali jeste tehnički signal koji zaslužuje proveru.
Kako analizirati statusne kodove
200 OK
Status 200 pokazuje da je server vratio odgovor, ali ne garantuje da je sadržaj kvalitetan, potpun ili vidljiv u konačnom proizvodu. Proverite da li telo odgovora zaista sadrži glavni tekst, naslov, ključne linkove i relevantne podatke, a ne samo aplikacioni shell ili poruku o grešci unutar HTML-a.
3xx redirekcije
Jedna pravilno postavljena redirekcija može biti očekivana, ali lanci redirekcija nepotrebno troše zahteve i komplikuju analizu. U logu povežite početni URL sa konačnim URL-om i proverite da li se crawler stalno vraća na staru adresu.
4xx i 5xx greške
Veći broj 4xx odgovora može ukazivati na nevažeće ili blokirane URL-ove, dok 5xx odgovori ukazuju na problem na serveru, aplikaciji, bazi ili proxy sloju. Ne blokirajte crawler samo zato što je nekoliko zahteva neuspešno; prvo proverite da li su greške koncentrisane na važne stranice ili na beznačajne, automatski generisane putanje.
Praktičan workflow za jednomesečnu analizu
- Sačuvajte sirove logove. Ne oslanjajte se samo na agregirane izveštaje iz alata koji mogu skratiti User-Agent ili URL.
- Normalizujte podatke. Ujednačite vremensku zonu, uklonite nepotrebne query parametre za grupisanje i označite CDN/proxy sloj.
- Filtrirajte kandidate. Napravite odvojene skupove za OAI-SearchBot, Bingbot i ostale crawlerske oznake.
- Verifikujte identitet. Proverite OpenAI IP opsege i Bingbot IP kroz zvanične procedure.
- Grupišite po URL-u i statusu. Tako ćete videti šta se posećuje i da li server uspešno odgovara.
- Uporedite sa prioritetnom listom. Uključite money stranice, važne kategorije, članke, sitemap i URL-ove sa internim linkovima.
- Napravite listu akcija. Na primer: ukloniti lanac redirekcija, popraviti 5xx odgovor, ograničiti parametre ili ažurirati robots.txt.
Log analiza postaje korisnija kada se poveže sa formatom i strukturom sadržaja. Ako neki URL crawler posećuje, ali je glavni sadržaj skriven u PDF-u, tabeli ili dinamičkom prikazu, pročitajte i vodič PDF, tabela ili HTML: koji format je najlakši za citiranje i ponovno korišćenje. Za razumevanje mašinski čitljivih signala može pomoći i tekst Schema markup za AI Search: šta pomaže razumevanju, a šta nije ranking hack.
Šta logovi ne mogu da dokažu
Najčešća greška je izjednačavanje crawl posete sa vidljivošću u AI odgovoru. Log može pokazati da je određeni crawler zatražio URL, ali ne može samostalno dokazati da je sadržaj indeksiran, uključen u retrieval sistem, prikazan korisniku ili citiran u odgovoru.
Logovi takođe ne mogu pouzdano objasniti zašto je određeni URL izabran, niti garantuju buduću učestalost poseta. Oni su infrastrukturni dokaz o zahtevima, a ne kompletan izveštaj o rangiranju ili citiranju. Zato ih treba kombinovati sa kontrolom robots.txt, statusa, sitemapova, renderovanog HTML-a i kvaliteta informacione arhitekture.
Najkorisniji sledeći korak je jednostavan: izaberite period od nekoliko nedelja, izdvojite verifikovane OAI-SearchBot i Bingbot zahteve, napravite tabelu URL–status–datum i proverite da li prioritetne stranice dobijaju uspešan odgovor. Tek nakon toga odlučujte o tehničkim izmenama ili širem planu SEO optimizacije.
Česta pitanja
Da li je User-Agent dovoljan da potvrdim da je zahtev došao od OAI-SearchBot-a?
Ne. User-Agent je koristan za početno filtriranje, ali može biti falsifikovan. Za odluke o pristupu ili blokiranju proverite IP adresu prema aktuelnim OpenAI objavljenim opsezima i uzmite u obzir CDN ili proxy infrastrukturu.
Da li poseta robots.txt fajlu znači da je crawler pročitao moje članke?
Ne nužno. To je zahtev za pravilima pristupa. U izveštaju ga odvojite od zahteva ka HTML stranicama, PDF-ovima, slikama i drugim sadržajnim resursima.
Da li status 200 znači da je stranica sigurno dostupna AI pretraživaču?
Status 200 znači da je server vratio uspešan HTTP odgovor. Ne dokazuje da odgovor sadrži kompletan sadržaj, da je crawler mogao da obradi JavaScript ili da će stranica biti prikazana u AI odgovoru.
Koliko dugo treba čuvati logove za ovakvu analizu?
Period zavisi od učestalosti crawl saobraćaja i cilja analize. Za poređenje pre i posle tehničke promene potreban je dovoljno dug, konzistentan period koji obuhvata oba stanja. Važnije je sačuvati sirove podatke i istu metodologiju nego proizvoljno izabrati jedan kratak interval.
