Kako napraviti robots.txt

Nova tema  Odgovori 
Podelite temu sa drugarima: ZARADITE PRODAJOM SVOJIH RADOVA
 
Ocena teme:
  • 0 Glasova - 0 Prosečno
  • 1
  • 2
  • 3
  • 4
  • 5
Autor Poruka
Jovica
Unregistered

 
Poruka: #1
Kako napraviti robots.txt
Važnost fajla robots.txt

Iako je fajl robots.txt veoma važan ukoliko želite da vaš sajt bude dobro pozicioniran na pretraživacima, mnogi web sajtovi nemaju ovaj fajl.

Ako na vašem sajtu ne postoji fajl robots.txt, ovaj clanak ce vam pokazati kako da ga kreirate. Ako imate fajl robots.txt, procitajte nekoliko saveta kako bi izbegli eventualne greške koje ovaj fajl može da sadrži.

Osnovne stvari o fajlu robots.txt?

Kada crawler web pretraživaca poseti vaš sajt, on prvo traži jedan poseban fajl. Taj fajl nosi naziv robots.txt a njegova je namena da spajderu web pretraživaca kaže koje strane vašeg sajta treba da budu indeksirane a koje treba da ignoriše.

Fajl robots.txt je obicni tekstualni fajl (ne HTML), koji se smešta u root direktorijuma sajta, na primer:

http://www.moj-website.com/robots.txt
Kako se kreira fajl robots.txt?

Kao što je prethodno pomenuto, fajl robots.txt je obicni tekstualni fajl. Za njegovo kreiranje možete koristiti bilo koji tekst editor. Sadržaj robots.txt fajla cine tzv. zapisi (records).

Zapis sadrži informacije bitne za pretraživa?e. Svaki zapis cine dva polja: jedna User agent linija i jedna ili više Disallow linija. Evo i primera:

User-agent: googlebot
Disallow: /cgi-bin/

Fajl robots.txt ce omogucitii pristup “googlebot-u”, Google-ovom spajderu, da indeksira sve stranice sajta osim fajlova u okviru “cgi-bin” direktorijuma. Svi fajlovi iz direktorijuma “cgi-bin” bice ignorisani od strane googlebot-a.

Ako ostavite Disallow liniju praznu, pretraživac ce indeksirati sve web stranice. U svakom slucaju, morate uneti Disallow liniju za svaki zapis User agent linije.

Ako spajderima svih pretraživaca želite da dodelite ista prava, sadržaj fajla robots.txt treba da izgleda ovako:

User-agent: *
Disallow: /cgi-bin/
Kako da saznate nazive user agent-a?

Nazive user agent-a cete naci proverom log fajla po fajlu robots.txt. Najcešce, spajderima svih pretraživaca treba dodeliti ista prava. U tom slucaju koristite “User-agent: *” kao što je predhodno navedeno.
Šta treba izbegavati?

Ako pravilno ne formatirate vaš robots.txt fajl, pojedini ili svi fajlovi vašeg sajta nece biti indeksirani od strane pretraživaca. Da bo ovo sprecili, uradite sledece:

1.Ne koristite komentare u robots.txt fajlu

Iako su komentari dozvoljeni u okviru robots.txt fajlova, oni ipak mogu zbuniti spajdere nekih pretraživa?a.

“Disallow: support # Don’t index the support directory” može biti interpretirano kao “Disallow: support#Don’t index the support directory”.

2. Ne stavljajte praznine na pocetak linija. Na primer, ne:

User-agent: *
Disallow: /support

nego

User-agent: *
Disallow: /support

3. Ne menjajte raspored komandi. Nemojte pisati:

Disallow: /support
User-agent: *

vec

User-agent: *
Disallow: /support

4. Ne stavljajte više od jednog direktorijuma u jednoj Disallow liniji. Na primer:

User-agent: *
Disallow: /support /cgi-bin/ /images/

Spajderi pretraživaca ne razumeju ovaj format. Prava sintaksa izgleda ovako:

User-agent: *
Disallow: /support
Disallow: /cgi-bin/
Disallow: /images/

5. Koristite odgovarajucu velicinu slova. Imena fajlova na vašem serveru su case senzitivna. Ako je ime vašeg direktorijuma “Support”, ne pišite “support” u robots.txt fajlu.

6. Ne nabrajajte sve fajlove. Ukoliko želite da spajderi pretraživaca ignorišu sve fajlove odre?enog direktorijuma, ne morate nabrajati sve fajlove. For example:

User-agent: *
Disallow: /support/orders.html
Disallow: /support/technical.html
Disallow: /support/helpdesk.html
Disallow: /support/index.html

Umesto toga, dovoljno je samo:

User-agent: *
Disallow: /support

7. Ne postoji “Allow” komanda


Ne koristite “Allow” komandu u vašem robots.txt fajlu. Samo navedite fajlove i direktorijume koji ne trebaju biti indeksirani. Svi ostali fajlovi ce automatski biti indeksirani.
Fajl robots.txt - saveti i trikovi:

1. Kako da dopustite spajderima pretraživaca da indeksiraju sve fajlove

Svi fajlovi vašeg web sajta ce biti indeksiranu ukoliko vaš robors.txt fajl sadrži samo sledece dve linije:

User-agent: *
Disallow:

2. Kako blokirati indeksiranje svih fajlova od strane spajdera

Ukoliko ne želite da spajderi indeksiraju fajlove vašeg sajta, upišite slede?e dve linije:

User-agent: *
Disallow: /

3. Kako naci složenije primere robots.txt fajlova

Ukoliko želite da vidite malo složenije primere, pogledajte robots.txt fajlove velikih web sajtova.

Vaši sajtovi treba da imaju odgovarajuce robots.txt fajlove ukoliko želite da imate dobre pozicije na pretraživacima. Pretraživaci mogu visoko rangirati vaš sajt, jedino kada znaju šta treba da rade sa fajlovima vašeg sajta.

Izvor: Globalno Selo
21-05-2009 12:07 AM
Citiraj ovu poruku u odgovoru
seraphim Nije na vezi
Member
***

Poruka: 113
Pridružen: May 2009
Poruka: #2
RE: Kako napraviti robots.txt
Uradio sam ovo za jedan forum,google bot se pojavio ali je nestao u toku dana. Da li je normalno da nestane ili treba da je stalno na stranici?

http://www.maturskiradovi.net/eshop
05-08-2009 08:08 PM
Poseti veb stranicu korisnika Pronađi sve korisnikove poruke Citiraj ovu poruku u odgovoru
ecanikajo Nije na vezi
Junior Member
**

Poruka: 6
Pridružen: May 2009
Poruka: #3
RE: Kako napraviti robots.txt
Naravno da je normalno. Pa mora i on malo da odmara. Smile
05-08-2009 08:47 PM
Poseti veb stranicu korisnika Pronađi sve korisnikove poruke Citiraj ovu poruku u odgovoru
lukas
Unregistered

 
Poruka: #4
Thumbs Up RE: Kako napraviti robots.txt
ako samo ukucam u robots.txt ukucam

User-agent: googlebot
Disallow: /cgi-bin/

oce li google indeksirati sve stranice? osim cg-bin ili moram jos da se muciim...

i da li posto imam smf forum kada je google tu pisati googlebot da je dosao?

UNAPRED HVALA Shy Big Grin
P.S sajt mi je u profilu.
13-10-2009 12:20 PM
Citiraj ovu poruku u odgovoru
Nova tema  Odgovori 


Verovatno povezane teme...
Tema: Autor Odgovora: Pregleda: zadnja poruka
  Url rewrite - kako i zasto? Jovica 0 2,519 03-06-2009 01:42 AM
zadnja poruka: Jovica
  Kako rade internet pretraživači Jovica 0 5,882 07-05-2009 02:42 AM
zadnja poruka: Jovica

Skoči na forum: