yahoo crawler "smišlja" linkove

Yahoo search mi je indeksirao stranu www. putovanja.info/agencija za pretragu "turisticke agencije u beogradu" na koju ne linkujem nigde na sajtu. Lista agencija mi je na www.putovanja.info/turisticke_agencije a podaci o pojedinačnim agencijama na adresama tipa http://www.putovanja.info/agencija/Jolly_Travel/15. Yahoo je valjda video da su to "direktorijumi" pa je krenuo da se penje gore i indeksirao stranu http://www. putovanja.info/agencija/ . Ono što je loše je što pri PRIKAZU rezultata izostavlja kosu crtu na kraju (kada se pogleda cached vidi se da je indeksirao SA kosom crtom) i to je posetioce vodilo na 404 not found (mod_rewrite mi nije predviđao ovakvu situaciju). Čim sam primetio ovo stavio sam 301 permanent redirect medjutim on i dalje u indeksu prikazuje po starom, ali bar posetioci sada stižu na pravo mesto. Uopšte mi nije jasno zašto ovo radi...

da imam i ja vrlo slican problem... ali ne sa jednim ili dva linka vec je smislio oko 100 linkova...
npr u arhivi clanaka koja je organizovana http://.../1997/9/.../
prvo normalno spideruje pa onda! http://.../1997/9/1997/9.../ , pa http://.../1997/9/9/1997/.../ pa http://.../1997/9/1997/9/1997/9/.../

itd...

zna li neko o cemu se ovde radi?

Potpis

Blog