Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

robots.txt ???

[es] :: Pretraživači i SEO :: robots.txt ???

[ Pregleda: 5645 | Odgovora: 8 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

Subgate
Dario Djurica
Web Developer (c#)
Novi Sad

Član broj: 1581
Poruke: 66
*.ptt.yu

ICQ: 144658033


Profil

icon robots.txt ???13.08.2002. u 18:33 - pre 265 meseci
[Sun Aug 11 07:13:33 2002] [error] [client 66.147.154.3] File does not exist: /VDOMAINS/dario/web/www/robots.txt

Stalno mi na sajtu prijavljuje da taj fajl ne postoji....
Za sta sluzi taj fajl i sta u njega da stavim ????

Ja verujem da svim elektricnim stvarima dim daje zivot, kad ih on jednom napusti tesko da ce vise ikad da rade.
 
Odgovor na temu

McKracken
Vladimir Jovanovic
HuxleyDev

Član broj: 465
Poruke: 2941
*.ptt.yu

ICQ: 203079925


+7 Profil

icon Re: robots.txt ???14.08.2002. u 02:13 - pre 265 meseci
Citat:


[Sun Aug 11 07:13:33 2002] [error] [client 66.147.154.3] File does not exist: /VDOMAINS/dario/web/www/robots.txt

Stalno mi na sajtu prijavljuje da taj fajl ne postoji....
Za sta sluzi taj fajl i sta u njega da stavim ????


U njemu treba da se nalaze definicije sta sme a sta ne sme da se indeksira, i kako. To je fajl koji otvara spajder kada pokusava da indeksira tvouju stranu (npr googlebot). Obican je tekstualni fajl, a njegov opis mozes da nadjes ovde: www.robotstxt.org

 
Odgovor na temu

Divjak
Vladimir Divjak
Student

Član broj: 4783
Poruke: 535
*.zrenjanin.beotel.net



+1 Profil

icon Re: robots.txt ???14.08.2002. u 02:14 - pre 265 meseci
Pogledaj
http://www.searchengineworld.com/robots/robots_tutorial.htm
And don't be mad at me for crying for humanity,
call it pretensions but I got good intentions,
to keep my sanity, I'm hoping, fuck, there's gotta be
an answer to their strategies and their evil inventions... ~Looptroop
 
Odgovor na temu

Subgate
Dario Djurica
Web Developer (c#)
Novi Sad

Član broj: 1581
Poruke: 66
*.ptt.yu

ICQ: 144658033


Profil

icon Re: robots.txt ???14.08.2002. u 18:45 - pre 265 meseci
# Moj prvi pokusaj da nesto kazem robotima.....

User-agent: *
Disallow: /cgi-bin/

User-agent: *
Disallow: /buttons/
# tu ima 200 flash dugmica i tu mi ne trebaju pauci ?!?

/*** Pogledah preporucene stranice i shvatih sa su to "roboti"...
zabranio sam im ova dva direktorijuma jer tu u principu nemaju sta da traze.
Koja je prednost ovoga zabranjivanja ? Jedina korist koliko sam ja skapirao je
nesto manja opterecenost sajta robotima koi ga pretrazuju...jer ne pretrazuje direktorijume u kojima nema sta da nadje korisno... Ima li jos neki drugi dobar razloga za postavljanje
ovog fajla na sajt ??? ***/

Ja verujem da svim elektricnim stvarima dim daje zivot, kad ih on jednom napusti tesko da ce vise ikad da rade.
 
Odgovor na temu

NetworkAdmin

Član broj: 4445
Poruke: 609
*.ppp-01.sa.lol.ba.



Profil

icon Re: robots.txt ???15.08.2002. u 22:33 - pre 265 meseci
Naravno da ima razloga! Nemamo svi /data/ direktorij ispod dicumentroota pa moramo drzati data/passwordsghr5z5667.txt u nekom direktoriju gore... e sada ako slucajno spider prateci referale negdje nadje taj file bas bi bilo interesantno, naravno govorim o bezze fajlovima sa passwordima recimo za forum...
 
Odgovor na temu

tOwk
Danilo Šegan
Zemun/Beograd

Član broj: 94
Poruke: 2743
*.bitsyu.net

ICQ: 9344053
Sajt: alas.matf.bg.ac.yu/~mm011..


+2 Profil

icon Re: robots.txt ???20.08.2002. u 06:00 - pre 264 meseci
Loš dizajn i organizacija stranice ne opravdava upotrebu robots.txt. Čak, ukoliko je jedan ,,neinteligentni'' robot uspeo da pronađe taj fajl sa lozinkama, svakako će moći i ,,nadprosečna'' budala iz ljudskog roda.

Prema tome, prvi korak u zaštiti takvih fajlova su ,,chmod go-rw'' ako se skripte izvršavaju sa našim korisničkim identitetom, i ne postojanje reference na taj fajl u bilo kom fajlu (ali ovo je opet opasna ,,sigurnost pomoću zbrke'').

A robots.txt ima nekoliko osnovnih namena:
--- da spreči robote da preopterete server
--- da spreči posećivanje dinamički generisanih strana čiji sadržaj zavisi od posetioca (webmail klijenti i slično)
--- da omogući kontrolu ,,inteligencije'' robota, i da ih ne pustimo da idu na dinamičke stranice kojima nema kraja (npr. neki kviz baziran na slučajnom izboru i slično)
--- da omogući indeksiranje samo podataka koji se ne menjaju suviše često (inače će biti indeksirani neispravni podaci)

Ovo su najverovatnije i jedine opravdane namene za robote koji su dobro napravljeni (tj. koji poštuju robots.txt).

Toliko
Možda se moje mišljenje promenilo, ali ne i činjenica da sam u pravu.
 
Odgovor na temu

Aleksandar Marković
Part Time Freelance Journalist

Član broj: 219
Poruke: 5220
*.mediaworksit.net.

Sajt: www.akcenat.info


+8 Profil

icon Re: robots.txt ???17.12.2004. u 12:39 - pre 236 meseci
http://www.robotstxt.org/wc/exclusion.html
http://hacks.oreilly.com/pub/h/220

http://www.google.com/custom?i...tesearch=www.elitesecurity.org

[Ovu poruku je menjao secret dana 17.12.2004. u 13:41 GMT+1]
 
Odgovor na temu

Aleksandar Marković
Part Time Freelance Journalist

Član broj: 219
Poruke: 5220
*.smin.sezampro.yu.

Sajt: www.akcenat.info


+8 Profil

icon Re: robots.txt ???23.08.2006. u 21:53 - pre 216 meseci
http://www.seroundtable.com/archives/005114.html
 
Odgovor na temu

PCHW
Gajba.
NBGD

Član broj: 104213
Poruke: 46
*.adsl.sezampro.yu.



Profil

icon robots.txt sajtovi za proveru ko nije siguran!10.09.2006. u 06:55 - pre 215 meseci
Linkovi:

http://www.sxw.org.uk/computing/robots/check.html
http://tool.motoricerca.info/robots-checker.phtml
http://www.searchenginepromoti...text-tester/robots-checker.php
http://www.invision-graphics.com/robotstxt_validator.html
Ima ljudi koji ostaju praznih šaka čak i kad se uhvate za glavu.
 
Odgovor na temu

[es] :: Pretraživači i SEO :: robots.txt ???

[ Pregleda: 5645 | Odgovora: 8 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.