Loš dizajn i organizacija stranice ne opravdava upotrebu robots.txt. Čak, ukoliko je jedan ,,neinteligentni'' robot uspeo da pronađe taj fajl sa lozinkama, svakako će moći i ,,nadprosečna'' budala iz ljudskog roda.
Prema tome, prvi korak u zaštiti takvih fajlova su ,,chmod go-rw'' ako se skripte izvršavaju sa našim korisničkim identitetom, i ne postojanje reference na taj fajl u bilo kom fajlu (ali ovo je opet opasna ,,sigurnost pomoću zbrke'').
A robots.txt ima nekoliko osnovnih namena:
--- da spreči robote da preopterete server
--- da spreči posećivanje dinamički generisanih strana čiji sadržaj zavisi od posetioca (webmail klijenti i slično)
--- da omogući kontrolu ,,inteligencije'' robota, i da ih ne pustimo da idu na dinamičke stranice kojima nema kraja (npr. neki kviz baziran na slučajnom izboru i slično)
--- da omogući indeksiranje samo podataka koji se ne menjaju suviše često (inače će biti indeksirani neispravni podaci)
Ovo su najverovatnije i jedine opravdane namene za robote koji su dobro napravljeni (tj. koji poštuju robots.txt).
Toliko
Možda se moje mišljenje promenilo, ali ne i činjenica da sam u pravu.
robots.txt ???
Re: robots.txt ???
Re: robots.txt ???