Mnogi operateri web stranica nisu riješeni. Očigledno morate imati datoteku koja se zove robots.txt. Što je?
Windows + Linux / engleski / otvoreni izvor. Ako imate početnu stranicu, obično želite da vas pronađu. Velika je frustracija kad se vaša vlastita stranica ne pojavi na Googleu. To može biti posljedica datoteke robots.txt. Ali samo ako postoji. Ova datoteka može učiniti samo jedno: zabraniti.
U datoteci robots.txt možete zabraniti pristup vašim stranicama automatskim programima koji neprestano pregledavaju Internet. Za sve ove robote ili za određene njih možete izreći zabranu. Možete potpuno blokirati svoje stranice ili samo određena područja.
Ako datoteka ne postoji, prema tome nema zabrana. Vaše su stranice otvorene za sve tražilice. Ako se i dalje ne pojavljujete na Googleu, postavlja se potpuno drugo pitanje: Jeste li već registrirali svoje stranice? Najbolje je to učiniti odmah. Ovdje jednostavno unesite adresu:
https://www.google.com/webmasters/tools/submit-url
Da biste to učinili, morate se prijaviti na svoj Google račun.
Kako bi nestala datoteka robots.txt predstavljala problem, poslužitelj bi također trebao biti pogrešno konfiguriran. Tada bi robot mogao pokušati pristupiti datoteci i naići na neobične poruke o pogreškama, što bi uzrokovalo prekid procesa. Ali ovaj slučaj je vrlo nevjerojatan.
Ako želite stvoriti datoteku robots.txt, spremite je u glavnu mapu vašeg web poslužitelja. Ako želite omogućiti svima da učine sve, upišite sljedeće:
Korisnički agent: *
Zabrani:
Redak "User-Agent" označava na koga se zabrana odnosi. * znači: za svakoga. Redak "Disallow" izražava zabranu. Ako nema više ništa, to znači da su svi pristupi dopušteni.
Više o ovoj temi:Zavjesa, evo vaše web stranice: Kako stvoriti web stranicu uz malo truda
