Crawlability i indexability: razlika i uticaj na SEO

Za organsku vidljivost nije dovoljno da stranica postoji i da je dostupna korisnicima. Google mora najpre da može da je pronađe i obiđe, a zatim da proceni da li je podobna za indeksiranje. Ova dva procesa opisuju se terminima crawlability i indexability.

Razlika je praktična: stranica može biti dostupna Googlebotu, ali namerno ili tehnički izuzeta iz indeksa. Obrnuto, stranica može biti podešena za indeksiranje, ali Google do nje teško dolazi zbog loše interne povezanosti ili blokade u robots.txt.

U okviru SEO optimizacije, zato je korisno prvo razdvojiti ova dva pitanja: može li pretraživač da dođe do URL-a? i može li i treba li taj URL da bude u indeksu?

Šta je crawlability?

Crawlability je mogućnost pretraživača da pronađe URL i pošalje crawler, odnosno Googlebot, da ga obiđe. Google do stranica dolazi preko linkova, XML sitemap fajlova i drugih poznatih URL-ova, ali obilazak može biti otežan tehničkim ograničenjima.

Slaba crawlability ne znači automatski da je stranica loša. Ona znači da pretraživač možda ne može pouzdano da je pronađe ili učita. Posledica može biti sporije otkrivanje novih stranica, nepotpuno mapiranje sajta ili propuštanje važnih URL-ova.

Šta je indexability?

Indexability je mogućnost da pretraživač obradi stranicu i razmotri njeno uvrštavanje u indeks. Da bi URL imao realnu šansu za indeksiranje, mora biti dostupan crawleru, vraćati odgovarajući odgovor servera i ne sme imati direktivu koja isključuje indeksiranje.

Indeksiranje ipak nije automatsko. Google može da pronađe i obiđe URL, ali da ga ne indeksira ako proceni da je sadržaj dupliran, veoma sličan drugoj stranici, nekvalitetan, nepotpun ili manje koristan od već indeksirane verzije.

Crawlability naspram indexability

Granica između ova dva pojma nije uvek potpuno odvojena. Na primer, robots.txt može da spreči obilazak, ali sam po sebi nije pouzdana direktiva za uklanjanje URL-a iz Google indeksa. Zbog toga se svaki problem posmatra u kontekstu celog tehničkog podešavanja.

Kako robots.txt utiče na crawlability i indexability

Fajl robots.txt daje crawlerima instrukcije o tome koje putanje ne bi trebalo da obilaze. Njime se, na primer, mogu ograničiti administrativne sekcije, interni parametri ili nebitne tehničke putanje.

Važno je razlikovati blokadu obilaska od zabrane indeksiranja:

• Disallow u robots.txt ograničava crawl, ali ne predstavlja zamenu za noindex;
• ako je URL blokiran, Google možda neće moći da pročita njegov sadržaj ili meta direktive;
• javno poznat URL ipak može biti otkriven preko drugih signala, čak i kada crawler ne može da ga obiđe.

Ne blokirajte u robots.txt važne CSS i JavaScript resurse bez jasnog razloga. Googleu mogu biti potrebni za pravilno razumevanje stranice i njenog prikaza.

Kako noindex utiče na indeksiranje

Direktiva noindex govori pretraživaču da URL ne treba da bude u indeksu. Najčešće se postavlja kroz meta robots oznaku ili HTTP zaglavlje X-Robots-Tag.

Da bi Google mogao da vidi noindex, URL mora biti dostupan za crawl. Ako ga istovremeno blokirate u robots.txt, crawler možda neće pročitati direktivu. Zato blokada u robots.txt nije dobar način da uklonite već poznatu stranicu iz rezultata pretrage.

Proverite da li je noindex namerno postavljen. Česta greška je da razvojno ili staging okruženje prenese ovu direktivu na produkcioni sajt.

Canonical i izbor glavne verzije URL-a

rel="canonical" je signal kojim se Googleu sugeriše koja je glavna verzija stranice kada postoji više sličnih ili dupliranih URL-ova. Canonical nije apsolutna naredba: Google može izabrati drugi URL ako signali nisu usklađeni.

Proverite sledeće:

• da canonical pokazuje na postojeći, indeksabilan URL;
• da se ne koristi canonical ka stranici koja vraća grešku ili ima noindex;
• da interne veze, sitemap i canonical uglavnom podržavaju istu glavnu verziju;
• da paginacija, parametri i varijante protokola ili domena nisu slučajno kanonikalizovani na pogrešan URL.

Pogrešan canonical najčešće je problem indexability signala, ali može dovesti i do toga da važna stranica bude zanemarena u korist druge verzije.

Statusni kodovi i dostupnost stranice

Statusni kod servera daju pretraživaču osnovnu informaciju o tome šta se dogodilo pri zahtevu:

• 200 OK označava uspešno učitanu stranicu i najčešće je očekivan odgovor za indeksabilan sadržaj;
• 3xx preusmerava crawler na drugu adresu; proverite da nema nepotrebnih lanaca ili petlji;
• 4xx ukazuje da resurs nije dostupan; obrisane stranice treba da imaju odgovarajuću zamenu ili da budu pravilno uklonjene;
• 5xx označava grešku servera i može otežati ili sprečiti crawl, naročito ako je problem učestao.

Stranica može vraćati status 200, a ipak biti praktično neupotrebljiva za indeksiranje ako nema sadržaj, vraća soft 404 ili sadrži direktivu noindex. Zato statusni kod nije dovoljan za konačan zaključak.

XML sitemap i interna povezanost

XML sitemap pomaže Googleu da otkrije važne URL-ove, posebno na velikim sajtovima, sajtovima sa složenom strukturom ili novim domenima. Sitemap, međutim, ne garantuje crawl niti indeksiranje.

U sitemap uključite prvenstveno kanonske URL-ove koji:

• vraćaju uspešan odgovor;
• nisu blokirani za crawl;
• nemaju noindex;
• predstavljaju stranice koje zaista želite u organskim rezultatima.

Interni linkovi daju dodatni kontekst i pomažu crawleru da razume strukturu sajta. Važne stranice ne bi trebalo da budu dostupne samo kroz sitemap, već i povezane sa relevantnih, već dostupnih stranica. Obratite pažnju na stranice bez internih linkova, odnosno orphan pages.

Redosled provere u Google Search Console

Kada sumnjate da URL nije pronađen ili indeksiran, nemojte početi nasumičnim izmenama. Koristite sledeći redosled:

1. URL Inspection: unesite tačan URL i pogledajte da li je Google izabrao kanonsku verziju i da li je URL indeksiran.
2. Live Test: proverite da li je trenutna verzija dostupna Googlebotu i da li postoje blokade ili problemi sa učitavanjem.
3. Indexing report: pregledajte razlog izostanka iz indeksa, kao što su „Blocked by robots.txt“, „Excluded by noindex“, duplikat ili server error.
4. Sitemap: proverite da li je URL u odgovarajućem sitemapu i da li sitemap sadrži samo željene, kanonske stranice.
5. Links: proverite da li postoje relevantni interni linkovi ka URL-u.
6. Server i source provera: potvrdite statusni kod, canonical, meta robots i eventualna preusmeravanja.

Nakon ispravke možete zatražiti ponovno indeksiranje kroz URL Inspection, ali to nije garancija trenutnog uključivanja u indeks. Kod većeg broja URL-ova bolje je rešiti uzrok na nivou šablona, CMS-a ili arhitekture sajta.

Praktičan primer dijagnostike

Pretpostavimo da važna kategorija nije vidljiva u Googleu:

• Ako je URL označen kao blokiran u robots.txt, prvo rešavate crawlability.
• Ako je dostupan, ali ima noindex, problem je u indexability podešavanju.
• Ako nema noindex, ali canonical pokazuje na drugu kategoriju, proveravate kanonikalizaciju.
• Ako vraća 200 i ima ispravne direktive, ali nema interne linkove, poboljšavate internu povezanost i arhitekturu.
• Ako je sve tehnički ispravno, a URL i dalje nije indeksiran, analizirate kvalitet, jedinstvenost i korisnost sadržaja.

Ovaj redosled sprečava da se problem indeksiranja pogrešno pripiše samo sadržaju ili samo sitemapu.

Najčešće greške

• korišćenje robots.txt kao zamene za noindex;
• slanje neindeksabilnih URL-ova u XML sitemap;
• canonical ka URL-u koji je preusmeren, blokiran ili izuzet iz indeksa;
• oslanjanje samo na početnu stranicu bez kvalitetne interne povezanosti;
• masovno traženje indeksiranja bez rešavanja sistemskog uzroka;
• zaključak da je stranica indeksirana samo zato što vraća status 200.

Zaključak

Crawlability i indexability rešavaju različite, ali povezane probleme. Crawlability se odnosi na mogućnost Googlea da pronađe i obiđe URL, dok indexability obuhvata uslove pod kojima taj URL može da bude obrađen i uvršten u indeks.

Za pouzdanu dijagnostiku proverite robots.txt, meta robots, canonical, statusne kodove, XML sitemap, interne linkove i izveštaje u Google Search Console. Ako je potreban širi pregled arhitekture, indeksiranja i tehničkih signala, uključite tehnički SEO audit u proces optimizacije.

Povezane teme: Tehnički SEO: kako poboljšati crawlability, indeksiranje i arhitekturu sajta · Crawlability i indeksiranje: kako pronaći i rešiti SEO probleme · Kako poslati XML sitemap Google-u kroz Search Console