[es] - robots.txt ???

Subgate
Dario Djurica
Web Developer (c#)
Novi Sad

Član broj: 1581
Poruke: 66
*.ptt.yu

ICQ: 144658033

Profil

^{13.08.2002. u 18:33 - pre 264 meseci}

[Sun Aug 11 07:13:33 2002] [error] [client 66.147.154.3] File does not exist: /VDOMAINS/dario/web/www/robots.txt

Stalno mi na sajtu prijavljuje da taj fajl ne postoji....
Za sta sluzi taj fajl i sta u njega da stavim ????

Ja verujem da svim elektricnim stvarima dim daje zivot, kad ih on jednom napusti tesko da ce vise ikad da rade.

Odgovor na temu

McKracken
Vladimir Jovanovic
HuxleyDev

Član broj: 465
Poruke: 2941
*.ptt.yu

ICQ: 203079925

+7 Profil

Re: robots.txt ???

^{14.08.2002. u 02:13 - pre 264 meseci}

Citat:

U njemu treba da se nalaze definicije sta sme a sta ne sme da se indeksira, i kako. To je fajl koji otvara spajder kada pokusava da indeksira tvouju stranu (npr googlebot). Obican je tekstualni fajl, a njegov opis mozes da nadjes ovde: www.robotstxt.org

Odgovor na temu

Divjak
Vladimir Divjak
Student

Član broj: 4783
Poruke: 535
*.zrenjanin.beotel.net

+1 Profil

Re: robots.txt ???

^{14.08.2002. u 02:14 - pre 264 meseci}

Pogledaj
http://www.searchengineworld.com/robots/robots_tutorial.htm

And don't be mad at me for crying for humanity,
call it pretensions but I got good intentions,
to keep my sanity, I'm hoping, fuck, there's gotta be
an answer to their strategies and their evil inventions... ~Looptroop

Odgovor na temu

Subgate
Dario Djurica
Web Developer (c#)
Novi Sad

Član broj: 1581
Poruke: 66
*.ptt.yu

ICQ: 144658033

Profil

Re: robots.txt ???

^{14.08.2002. u 18:45 - pre 264 meseci}

# Moj prvi pokusaj da nesto kazem robotima.....

User-agent: *
Disallow: /cgi-bin/

User-agent: *
Disallow: /buttons/
# tu ima 200 flash dugmica i tu mi ne trebaju pauci ?!?

/*** Pogledah preporucene stranice i shvatih sa su to "roboti"...
zabranio sam im ova dva direktorijuma jer tu u principu nemaju sta da traze.
Koja je prednost ovoga zabranjivanja ? Jedina korist koliko sam ja skapirao je
nesto manja opterecenost sajta robotima koi ga pretrazuju...jer ne pretrazuje direktorijume u kojima nema sta da nadje korisno... Ima li jos neki drugi dobar razloga za postavljanje
ovog fajla na sajt ??? ***/

Ja verujem da svim elektricnim stvarima dim daje zivot, kad ih on jednom napusti tesko da ce vise ikad da rade.

Odgovor na temu

NetworkAdmin

Član broj: 4445
Poruke: 609
*.ppp-01.sa.lol.ba.

Profil

Re: robots.txt ???

^{15.08.2002. u 22:33 - pre 264 meseci}

Naravno da ima razloga! Nemamo svi /data/ direktorij ispod dicumentroota pa moramo drzati data/passwordsghr5z5667.txt u nekom direktoriju gore... e sada ako slucajno spider prateci referale negdje nadje taj file bas bi bilo interesantno, naravno govorim o bezze fajlovima sa passwordima recimo za forum...

Odgovor na temu

tOwk
Danilo Šegan
Zemun/Beograd

Član broj: 94
Poruke: 2743
*.bitsyu.net

ICQ: 9344053
Sajt: alas.matf.bg.ac.yu/~mm011..

+2 Profil

Re: robots.txt ???

^{20.08.2002. u 06:00 - pre 263 meseci}

Loš dizajn i organizacija stranice ne opravdava upotrebu robots.txt. Čak, ukoliko je jedan ,,neinteligentni'' robot uspeo da pronađe taj fajl sa lozinkama, svakako će moći i ,,nadprosečna'' budala iz ljudskog roda.

Prema tome, prvi korak u zaštiti takvih fajlova su ,,chmod go-rw'' ako se skripte izvršavaju sa našim korisničkim identitetom, i ne postojanje reference na taj fajl u bilo kom fajlu (ali ovo je opet opasna ,,sigurnost pomoću zbrke'').

A robots.txt ima nekoliko osnovnih namena:
--- da spreči robote da preopterete server
--- da spreči posećivanje dinamički generisanih strana čiji sadržaj zavisi od posetioca (webmail klijenti i slično)
--- da omogući kontrolu ,,inteligencije'' robota, i da ih ne pustimo da idu na dinamičke stranice kojima nema kraja (npr. neki kviz baziran na slučajnom izboru i slično)
--- da omogući indeksiranje samo podataka koji se ne menjaju suviše često (inače će biti indeksirani neispravni podaci)

Ovo su najverovatnije i jedine opravdane namene za robote koji su dobro napravljeni (tj. koji poštuju robots.txt).

Toliko

Možda se moje mišljenje promenilo, ali ne i činjenica da sam u pravu.

Odgovor na temu