[es] - yahoo crawler smišlja linkove

Guardian OfThe Blind
Miloš Lalić
managing director, putovanja.info
Beograd

Član broj: 1048
Poruke: 78
*.beograd-1.tehnicom.net.

ICQ: 21185397
Sajt: www.putovanja.info

Profil

yahoo crawler "smišlja" linkove

^{15.11.2004. u 12:40}

Yahoo search mi je indeksirao stranu www. putovanja.info/agencija za pretragu "turisticke agencije u beogradu" na koju ne linkujem nigde na sajtu. Lista agencija mi je na www.putovanja.info/turisticke_agencije a podaci o pojedinačnim agencijama na adresama tipa http://www.putovanja.info/agencija/Jolly_Travel/15. Yahoo je valjda video da su to "direktorijumi" pa je krenuo da se penje gore i indeksirao stranu http://www. putovanja.info/agencija/ . Ono što je loše je što pri PRIKAZU rezultata izostavlja kosu crtu na kraju (kada se pogleda cached vidi se da je indeksirao SA kosom crtom) i to je posetioce vodilo na 404 not found (mod_rewrite mi nije predviđao ovakvu situaciju). Čim sam primetio ovo stavio sam 301 permanent redirect medjutim on i dalje u indeksu prikazuje po starom, ali bar posetioci sada stižu na pravo mesto. Uopšte mi nije jasno zašto ovo radi...

_{[Ovu poruku je menjao Guardian OfThe Blind dana 29.11.2004. u 09:41 GMT+1]}

Putovanja.info

^{15.11.2004. u 12:40}

mordor
Vladimir Cvetic
/dev/null

Član broj: 2797
Poruke: 421
195.252.87.*

Jabber: cvele@default.co.yu
Sajt: www.knowbies.com

Profil

Re: yahoo crawler "smišlja" linkove

^{15.11.2004. u 13:15}

da imam i ja vrlo slican problem... ali ne sa jednim ili dva linka vec je smislio oko 100 linkova...
npr u arhivi clanaka koja je organizovana http://.../1997/9/.../
prvo normalno spideruje pa onda! http://.../1997/9/1997/9.../ , pa http://.../1997/9/9/1997/.../ pa http://.../1997/9/1997/9/1997/9/.../

itd...

zna li neko o cemu se ovde radi?

Blog

^{15.11.2004. u 13:15}

boccio
Boris Krstović
Spoonlabs.com
nbgd

Član broj: 7594
Poruke: 2453
*.ptt.yu.

Sajt: bocc.io

Profil

Re: yahoo crawler "smišlja" linkove

^{15.11.2004. u 18:31}

Niste jedini. Problem se javio kad je Y! pustio Slurp da crawluje (ranije su se oslanjali na guglovo spajderovanje). Navodno to se desava samo sa truncatovanjem vrlo dugih dinamickih URL-ova, ali ocigledno u praksi nije tako :)

Lead, Follow or Get the Fuck Out of the Way!
@newscurve | @vivvo | @bkrstovic

^{15.11.2004. u 18:31}