Tehnički SEO pomaže pretraživačima da pronađu stranice, razumeju njihovu strukturu i odluče koje URL adrese mogu da uvrste u indeks. Ako je sajt teško za crawling ili ima nejasnu arhitekturu, kvalitetan sadržaj može ostati neprimećen u organskoj pretrazi.
U ovom vodiču fokus je na četiri povezana područja: crawlability, indeksiranje, arhitekturu sajta i proveru problema kroz Google Search Console. Opšti principi SEO optimizacije objašnjeni su u vodiču SEO optimizacija.
Crawlability i indeksiranje: koja je razlika?
Crawlability označava koliko lako crawler, odnosno bot pretraživača, može da pristupi URL adresama i prati veze između njih. Indeksiranje je proces u kome pretraživač analizira pronađenu stranicu i odlučuje da li će je sačuvati u indeksu.
Stranica može biti dostupna crawleru, a ipak ne mora biti indeksirana. Razlozi mogu biti dupliran sadržaj, canonical ka drugoj URL adresi, oznaka noindex, slab kvalitet ili nedovoljno jasna vrednost stranice.
Kako izgleda dobra arhitektura sajta?
Dobra arhitektura povezuje stranice u logične tematske celine i omogućava korisniku i crawleru da do važnog sadržaja dođu sa malo koraka. Navigacija ne treba da bude organizovana samo prema internoj strukturi firme, već prema načinu na koji korisnici traže informacije.
Praktična pravila arhitekture
- Najvažnije kategorije i usluge treba da budu dostupne iz glavne navigacije ili relevantnih hub stranica.
- Svaka važna stranica treba da ima bar jedan interni link sa druge indeksirane stranice.
- URL struktura treba da bude kratka, stabilna i razumljiva.
- Tematski povezane stranice treba međusobno da se podržavaju internim linkovima.
- Broj klikova do ključnog sadržaja treba svesti na razumnu meru, naročito na velikim sajtovima.
Dubina stranice nije jedini kriterijum. URL do kog vodi veliki broj kvalitetnih i relevantnih internih linkova može biti važniji od stranice koja je formalno plitka, ali izolovana od ostatka sajta.
Orphan pages: stranice bez internih linkova
Orphan page je stranica do koje ne vodi nijedan interni link. Može se pojaviti u XML sitemapu ili biti poznata iz analitičkih podataka, ali bez jasne veze sa ostatkom sajta crawleru je teže da je pronađe i razume njen značaj.
Za otkrivanje orphan stranica uporedite:
- URL adrese pronađene crawlingom sajta;
- URL adrese u XML sitemapu;
- stranice sa organskim posetama u GA4;
- URL adrese koje Google Search Console prijavljuje kao poznate.
Ako je stranica važna, dodajte joj relevantne interne linkove. Ako nije potrebna, razmotrite konsolidaciju, preusmeravanje ili uklanjanje.
Robots.txt: šta crawler sme da poseti?
Datoteka robots.txt daje instrukcije crawlerima koje delove sajta ne treba da crawl-uju. Korisna je za kontrolu pristupa nepotrebnim parametrima, internim pretragama i sličnim URL obrascima, ali nije mehanizam za pouzdano uklanjanje stranice iz Google indeksa.
Česta greška je blokiranje URL adrese u robots.txt, a zatim očekivanje da će Google pročitati noindex na toj istoj stranici. Ako crawler ne može da pristupi stranici, možda neće videti tu oznaku. Za uklanjanje indeksirane stranice obično se razmatra noindex, uklanjanje sadržaja ili odgovarajući statusni kod, u zavisnosti od slučaja.
Posle svake izmene proverite da li su blokirani samo URL obrasci koji zaista treba da budu blokirani. Posebno obratite pažnju na slučajno blokiranje CSS i JavaScript resursa potrebnih za prikaz i razumevanje stranice.
XML sitemap: mapa važnih URL adresa
XML sitemap pomaže pretraživačima da otkriju važne URL adrese, naročito na velikim sajtovima, sajtovima sa mnogo novih stranica ili sa složenom internom strukturom. Sitemap nije zamena za interne linkove i ne garantuje indeksiranje.
U sitemap uključujte prvenstveno URL adrese koje:
- vraćaju status
200 OK; - mogu da se indeksiraju;
- imaju canonical koji upućuje na sebe;
- predstavljaju stvarne i korisne stranice.
Iz sitemap-a izostavite redirect URL adrese, stranice sa noindex oznakom, duplikate i URL adrese koje vraćaju greške. Sitemap zatim pošaljite kroz Google Search Console i pratite da li se pojavljuju problemi sa obradom.
Canonical oznake i duplirane URL adrese
Canonical oznaka pretraživaču signalizira koja URL adresa predstavlja glavnu verziju sadržaja kada postoji više sličnih ili identičnih verzija. To je posebno važno kod parametara, filtera, paginacije, verzija sa i bez završne kose crte, kao i kod različitih protokola ili hostova.
Proverite da canonical:
- vodi na tačnu, apsolutnu URL adresu;
- ne vodi na URL koji vraća grešku ili redirect;
- nije u sukobu sa internim linkovima i XML sitemapom;
- ne spaja stranice koje imaju različitu namenu ili sadržaj.
Canonical je signal, a ne apsolutna naredba. Zato je najbolje da ga uskladite sa internim linkovima, sitemapom, statusnim kodovima i dostupnošću stranice.
Statusni kodovi koji utiču na crawling i indeksiranje
| Status | Šta znači | SEO implikacija |
|---|---|---|
200 | Stranica je uspešno dostupna. | Može biti crawl-ovana i razmatrana za indeksiranje. |
301 | Trajno preusmerenje. | Signalizira da je sadržaj premešten na drugu URL adresu. |
302 | Privremeno preusmerenje. | Koristi se kada premeštanje nije trajno; pogrešna upotreba može otežati konsolidaciju signala. |
404 | Stranica nije pronađena. | Prirodno je rešenje za URL koji ne postoji i nema odgovarajuću zamenu. |
410 | Sadržaj je trajno uklonjen. | Jasan signal da je resurs uklonjen. |
5xx | Greška servera. | Učestale greške mogu otežati crawling i dostupnost sadržaja. |
Ne preusmeravajte sve obrisane URL adrese na početnu stranicu. Ako ne postoji relevantna zamena, 404 ili 410 je često jasniji odgovor od nerelevantnog redirecta.
Crawl budget: kada postaje relevantan?
Crawl budget predstavlja količinu crawling resursa koju pretraživač koristi za sajt. Na malim i srednjim sajtovima obično nije prvi problem koji treba rešavati. Veću pažnju zahteva kod velikih sajtova, čestog generisanja URL adresa, faceted navigation sistema, parametara i brojnih skoro identičnih stranica.
Pre optimizacije crawl budgeta pronađite uzrok rasipanja crawlinga:
- URL parametre koji stvaraju mnogo kombinacija;
- beskonačne ili nepotrebne kalendarske stranice;
- redirect lance i petlje;
- meke 404 stranice;
- duplikate i stranice male vrednosti;
- interne linkove ka nepotrebnim URL verzijama.
Rešenja mogu uključiti bolju kontrolu parametara, konsolidaciju sadržaja, kvalitetnije interne linkove i uklanjanje nepotrebnih URL obrazaca. Nemojte blokirati važne stranice samo zato što želite da smanjite crawling.
Kako proveriti indeksiranje u Google Search Console?
Google Search Console omogućava proveru pojedinačne URL adrese kroz URL Inspection, kao i pregled grupisanih problema u izveštaju o indeksiranju.
- Unesite konkretnu URL adresu u URL Inspection.
- Proverite da li je URL poznat Googleu i da li je indeksiran.
- Pregledajte prijavljenu canonical URL adresu.
- Proverite da li je crawling dozvoljen i da li postoji
noindex. - Ako je stranica ispravljena, zatražite ponovno indeksiranje kada je to opravdano.
- Za grupne probleme otvorite izveštaj o indeksiranju i sortirajte URL adrese prema razlogu.
Poruka „Crawled – currently not indexed“ ili sličan status nije automatski dokaz tehničke greške. Proverite kvalitet i jedinstvenost sadržaja, interne linkove, canonical i da li stranica zaista treba da postoji.
Kontrolna lista za tehnički SEO audit
- Da li važan sadržaj može da se pronađe preko internih linkova?
- Da li postoje orphan stranice?
- Da li robots.txt slučajno blokira važne resurse ili sekcije?
- Da li XML sitemap sadrži samo relevantne, indeksabilne URL adrese?
- Da li canonical oznake odgovaraju glavnoj verziji sadržaja?
- Da li postoje redirect lanci, petlje ili nepotrebni 404 i 5xx odgovori?
- Da li parametri i filteri stvaraju veliki broj duplikata?
- Da li su ključne stranice dostupne sa razumnim brojem klikova?
- Da li GSC pokazuje razliku između poslatih i indeksiranih URL adresa?
Zaključak
Crawlability, indeksiranje i arhitektura sajta ne rešavaju se jednom izmenom. Potrebno je uskladiti robots.txt, XML sitemap, canonical oznake, statusne kodove i interne linkove sa stvarnom strukturom sadržaja.
Prioritet dajte stranicama koje imaju poslovnu ili informativnu vrednost. Kada su važni URL-ovi dostupni, logično povezani i tehnički konzistentni, pretraživaču je lakše da efikasno crawluje sajt i pravilno razume koje stranice treba da razmatra za rezultate pretrage.
Povezane teme: Crawlability i indeksiranje: kako pronaći i rešiti SEO probleme · Crawlability i indexability: razlika i uticaj na SEO · Kako poslati XML sitemap Google-u kroz Search Console
