Kada se stranica ne pojavljuje u Google rezultatima, uzrok nije uvek isti. Googlebot možda ne može da dođe do URL-a, server može da vraća grešku, stranica može imati noindex, pogrešan canonical ili jednostavno nema dovoljno internih linkova.
Zato je važno razlikovati dva povezana, ali različita problema:
- Crawlability označava da li pretraživač može da pronađe URL i preuzme njegov sadržaj.
- Indexability označava da li pretraživač može i želi da tu stranicu uključi u indeks.
U nastavku je redosled provere koji smanjuje rizik od pogrešne dijagnoze i nepotrebnih izmena.
1. Potvrdite šta je stvarni problem
Pre tehničke provere utvrdite da li je stranica zaista izostavljena iz indeksa ili samo ne rangira za očekivani upit. Proverite tačan URL u Google pretrazi pomoću operatora site:, ali ovaj test koristite samo kao signal, ne kao konačan dokaz.
Pouzdaniji izvor je Google Search Console. U alatu URL Inspection unesite konkretan URL i proverite:
- da li je URL poznat Google-u;
- da li je dozvoljeno indeksiranje;
- koji canonical Google izabrao;
- kada je stranica poslednji put crawlovana;
- da li postoji problem sa renderovanjem ili serverom.
Ako je problem vidljiv na većem broju URL-ova, koristite izveštaj Pages i grupišite isključene stranice prema razlogu.
2. Proverite robots.txt, ali ne mešajte ga sa noindex direktivom
Fajl robots.txt kontroliše kojim putanjama crawler može da pristupi. Proverite da se nalazi na korenu domena, na primer https://primer.rs/robots.txt, i da server vraća ispravan odgovor.
Posebno tražite pravila koja nenamerno blokiraju važne stranice, direktorijume, CSS ili JavaScript resurse potrebne za prikaz sadržaja. Tipičan problem je šire pravilo Disallow postavljeno tokom razvoja sajta i zaboravljeno posle objave.
Važno: blokada u robots.txt ne predstavlja pouzdan način da se stranica ukloni iz Google indeksa. Ako crawler ne može da pristupi stranici, često ne može da pročita ni eventualni noindex. Za stranice koje ne treba indeksirati koristite odgovarajuću robots meta oznaku ili HTTP zaglavlje, uz obezbeđen pristup crawleru.
3. Proverite HTTP statusne kodove
Za indeksibilnu stranicu očekujete uspešan odgovor, najčešće 200 OK. Statusni kod sam po sebi ne garantuje indeksiranje, ali pogrešan kod može odmah objasniti problem.
- 3xx označava preusmerenje. Proverite da li vodi na relevantan URL i da li postoji redirect lanac.
- 4xx označava grešku na strani zahteva.
404može biti očekivan za uklonjen sadržaj, ali ne i za aktivnu stranicu. - 5xx označava grešku servera i može sprečiti crawl ili izazvati privremeno izostavljanje URL-a.
- 200 sa praznim ili pogrešnim sadržajem može biti soft 404 iako tehnički odgovor izgleda uspešno.
Status proverite kroz GSC, server logove i alat za HTTP zaglavlja. Ne oslanjajte se samo na ono što vidite u browseru, jer browser može prikazati korisničku stranicu čak i kada crawler dobija drugi odgovor.
4. Proverite meta robots i X-Robots-Tag
Na stranici potražite direktive poput <meta name="robots" content="noindex">. Ista kontrola može biti postavljena kroz HTTP zaglavlje X-Robots-Tag, što je čest slučaj kod PDF dokumenata i drugih fajlova koji nisu HTML.
Proverite da li je noindex nameran. Posebno obratite pažnju na:
- šablone koji automatski dodaju
noindexnovim stranicama; - staging ili razvojne konfiguracije prenete na produkciju;
- kategorije, proizvode ili usluge koje su pogrešno označene;
- razliku između
noindex,followi blokade crawl-a u robots.txt.
Ako uklonite neželjeni noindex, Google mora ponovo da crawl-uje URL pre nego što se promena odrazi u rezultatima.
5. Proverite canonical oznaku
Canonical govori koji URL treba smatrati glavnom verzijom kada postoji više sličnih ili dupliranih varijanti. Na indeksibilnoj stranici najčešće očekujete self-referencing canonical, odnosno canonical koji pokazuje na isti URL, osim kada namerno konsolidujete signale na drugu stranicu.
Proverite:
- da li canonical vodi na dostupnu stranicu sa statusom 200;
- da li koristi ispravan protokol, domen i format URL-a;
- da li nije usmeren na početnu stranicu ili nerelevantnu kategoriju;
- da li se razlikuje od canonical-a koji Google prikazuje u URL Inspection alatu.
Canonical je signal, a ne apsolutna naredba. Google može izabrati drugu kanonsku verziju ako proceni da su sadržaj, linkovi ili tehnički signali neusaglašeni.
6. Proverite XML sitemap
XML sitemap ne garantuje indeksiranje, ali pomaže pretraživačima da otkriju važne URL-ove. Sitemap treba da sadrži prvenstveno kanonske, indeksibilne stranice koje vraćaju 200 OK.
Uklonite ili ispravite URL-ove koji:
- vraćaju 4xx ili 5xx odgovor;
- preusmeravaju na drugi URL;
- imaju
noindex; - nisu kanonska verzija;
- više ne predstavljaju vredan sadržaj.
Pošaljite sitemap kroz GSC i proverite da li je Google uspešno pročitao fajl. Razlika između broja URL-ova u sitemap-u i broja indeksiranih stranica nije automatski greška, ali je signal za dalju proveru.
7. Proverite interne linkove i arhitekturu sajta
Stranica može biti tehnički ispravna, a ipak teško dostupna crawleru ako nema kvalitetne interne linkove. Važne stranice treba da budu povezane iz relevantnih, već dostupnih delova sajta.
Proverite:
- da li do stranice vode HTML linkovi koje crawler može da prati;
- da li je URL dostupan kroz navigaciju, kategorije ili povezane tekstove;
- da li postoje orphan stranice bez internih linkova;
- da li linkovi koriste konačne URL-ove umesto redirecta;
- da li anchor tekst opisuje odredišnu stranicu.
Ne pokušavajte da rešite arhitekturu desetinama veštačkih linkova. Bolje je osmisliti jasne tematske klastere i povezati stranice tamo gde to korisniku zaista pomaže.
8. Analizirajte redirecte
Redirect je koristan kada se URL trajno menja, ali problemi nastaju kada postoji lanac ili petlja. Idealno je da stari URL vodi direktno na konačnu, relevantnu stranicu.
Proverite:
- da li redirect završava na
200 OKURL-u; - da li postoji više uzastopnih preusmerenja;
- da li se HTTP i HTTPS, www i non-www varijante pravilno konsoliduju;
- da li interni linkovi i sitemap i dalje koriste stare URL-ove.
Nemojte preusmeravati obrisanu stranicu na nepovezanu početnu stranicu samo da biste izbegli 404. Ako nema relevantne zamene, 404 ili 410 može biti prikladniji odgovor.
9. Proverite renderovanje JavaScript-a
Ako se glavni sadržaj, linkovi ili podaci učitavaju isključivo kroz JavaScript, crawler može dobiti drugačiju verziju stranice od one koju vidi korisnik. To naročito proverite kod SPA aplikacija i sajtova koji koriste client-side rendering.
Uporedite izvorni HTML sa renderovanim DOM-om i koristite URL Inspection za testiranje stranice. Proverite da li:
- naslov, glavni sadržaj i interne veze postoje u renderovanoj verziji;
- API pozivi ne vraćaju greške ili blokade;
- kritični sadržaj nije dostupan tek posle korisničkog klika;
- važne stranice imaju server-side rendering ili statički pre-renderovan sadržaj kada je to potrebno.
JavaScript nije sam po sebi SEO problem. Problem nastaje kada je sadržaj nedostupan, nestabilan ili zavisi od koraka koje crawler ne može pouzdano da izvrši.
10. Proverite server i crawl statistiku
Za veće sajtove server logovi daju direktan uvid u to koje URL-ove Googlebot posećuje, sa kojim statusom i koliko često. Tražite ponavljane 5xx greške, veliki broj redirecta, spore odgovore i crawlovanje nevažnih parametara.
U GSC izveštaju Crawl stats, kada je dostupan za svojstvo, posmatrajte trendove zahteva, odgovor servera i probleme sa dostupnošću hosta. Ne tumačite promenu crawl aktivnosti izolovano: pad može biti posledica promene sadržaja, potražnje ili strukture sajta, a ne nužno kazna.
Praktičan redosled rešavanja
- Izaberite konkretan URL i zabeležite problem u URL Inspection alatu.
- Proverite robots.txt i dostupnost URL-a.
- Proverite statusni kod, server i redirect putanju.
- Uklonite nenameran noindex i ispravite canonical.
- Dodajte URL u odgovarajući XML sitemap.
- Obezbedite relevantne interne linkove.
- Proverite JavaScript i renderovanu verziju.
- Analizirajte širu grupu URL-ova u GSC, logovima i crawleru.
- Posle izmene zatražite validaciju ili ponovnu obradu tamo gde GSC to omogućava.
Najčešće greške u dijagnostici
- Mešanje crawlability i indexability: robots.txt blokada i noindex nisu ista stvar.
- Dodavanje svih URL-ova u sitemap: sitemap treba da bude lista kvalitetnih, kanonskih URL-ova.
- Forsiranje indeksiranja: zahtev za indeksiranje nije garancija da će Google izabrati URL.
- Ignorisanje server logova: GSC ne prikazuje uvek punu sliku kod velikih sajtova.
- Masovne izmene bez evidencije: bez datuma, opsega i očekivanog ishoda teško je utvrditi šta je pomoglo.
Zaključak
Najbrži put do rešenja nije nasumično menjanje robots.txt fajla ili ponovno slanje sitemap-a. Prvo utvrdite da li crawler može da dođe do stranice, zatim da li je može pravilno da obradi i na kraju da li su signali za indeksiranje usaglašeni.
Za širi pregled tehničkih i sadržajnih elemenata pogledajte vodič SEO optimizacija, a za kontekstualni pregled oblasti i naš tekst o tehničkom SEO-u.
Relevantni Google resursi
Povezane teme: Tehnički SEO: kako poboljšati crawlability, indeksiranje i arhitekturu sajta · Crawlability i indexability: razlika i uticaj na SEO · Robots.txt vodič: kako kontrolisati crawl bez grešaka u indeksiranju
