Robots.txt je tekstualni fajl smešten u roots direktorijumu veb stranice koji se koristi za kontrolu pretraživačkih robota (crawlera) i pruža uputstva za upravljanje indeksiranjem veb stranica i kojim putanjama treba da pristupaju. Detaljno ćemo objasniti šta je robots.txt fajl, čemu služi, kako se koristi i pružiti vam primer bazičnog kreiranja fajla i uploada. Ovaj fajl je prvi dokument koji pretraživački robot poseti prilikom indeksiranja veb stranice.
Čemu služi robots.txt?
Robots.txt fajl omogućava vlasnicima veb stranica da imaju kontrolu nad indeksiranjem i vidljivošću njihovih stranica. Glavna svrha robots.txt fajla je obaveštavanje pretraživačkih robota o tome koje stranice smeju indeksirati i koje ne smeju. To je korisno u slučajevima kada želite da sprečite indeksiranje određenih delova sajta koji sadrže privatne ili osetljive informacije.
Kako se koristi robots.txt?
Evo osnovnih koraka za korišćenje robots.txt fajla:
Kreiranje robots.txt fajla
Koristite bilo koji tekstualni uređivač (Notepad, Sublime Text, VS Code itd.) za kreiranje robots.txt fajla. Sačuvajte ga kao „robots.txt“ bez ikakvih ekstenzija i obratite pažnju da bude smešten u root folderu veb stranice.
Definisanje direktiva
Robots.txt fajl koristi se za definisanje direktiva koje kontrolišu pretraživačke robote. Dve najčešće korišćene direktive su „User-agent“ i „Disallow“.
User-agent: Ova direktiva se koristi za određivanje pretraživačkog robota na koji se direktiva odnosi. Na primer, „User-agent: Googlebot“ se odnosi na Google pretraživačkog robota.
Disallow: Ova direktiva definiše putanje (URL-ove) koje treba zabraniti za određenog pretraživačkog robota. Na primer, „Disallow: /admin“ zabranjuje pristup direktorijumu „admin“ pretraživačkom robotu.
Primeri bazičnog kreiranja robots.txt fajla
Evo nekoliko primera kako biste bolje razumeli kako izgleda bazično kreiranje robots.txt fajla:
Blokiranje svih pretraživačkih robota:
User-agent: *
Disallow: /
Blokiranje specifičnog pretraživačkog robota:
User-agent: Googlebot
Disallow: /
Blokiranje određenih direktorijuma:
User-agent: *
Disallow: /admin/
Disallow: /private/
Dozvoljavanje svih pretraživačkih robota:
User-agent: *
Disallow:
Upload robots.txt fajla
Nakon što ste kreirali robots.txt fajl, potrebno ga je otpremiti (upload) na koren vaše veb stranice. To možete učiniti putem FTP klijenta ili veb hosting platforme.
Važno je napomenuti da robots.txt fajl nije obavezan i pretraživački roboti mogu indeksirati vašu veb stranicu bez njega. Međutim, korišćenje robots.txt fajla pruža vam dodatnu kontrolu i može poboljšati SEO performanse vašeg sajta.
Robots.txt fajl je jedan od ključnih alata u SEO strategiji koji omogućava vlasnicima veb stranica kontrolu nad indeksiranjem i vidljivošću njihovog sadržaja. Kreiranje i pravilno konfigurisanje robots.txt fajla pomaže vam da odredite koje delove veb stranice pretraživački roboti smeju indeksirati i kako pristupiti određenim putanjama. Ovo je važno za očuvanje privatnosti, zaštitu osetljivih informacija i poboljšanje SEO performansi.
