Hvala XTeam
sajt je
http://tuls.net
robots.txt sam izbacio pre 2 dana cisto da proverim hoce li se sta promeniti ali i dalje je ista prica
Jeeves radi odlicno prebacio je 140.000 pokupljenih strana
Slurp, MSN i Google po stranicu dnebno
i 1/3 ovih robota iz sredine gornjeg spiska je pokupila po 30-100 strana
Yahoo danas prikazivao 14.000 beck linkova i ~150 novih indexiranix strana
razmisljao sam da probam sa google sitemap, ali generisati sitemap.xml za ~160.000 stranica mislim da nije ni moguce a ni pametno
novi sajt sa sadasnjim sadrzajem je live nesto vise od mesec dana, pre toga se tu nalazio godinu dana sajt sa 1.000 strana ali je 13.5. doziveo svoj krah, pa je skoro mesec dana na domenu bila samo home stranica i sav trafik je isao na 404 ali i 2 meseca posto je stari sajt povucen mnogi pretrazivaci vracaju njegove stranice
tagovi su ispravni jer sa takvim tagovima stari sajt je indexiran bez problema gotovo svake nedelje
revisit after - pa mislim da nema svrhe postavljati, i ovako me svi roboti posecuju svakodnevno samo sto u zadnje vreme retko zalaze u dubinu
density sam postavio na ispod 5% i nema stranice koja bi se mogla smatrati spamom
da ipak nisam zaglavio sendbox posto je prakticno nov sajt, a uz to broj strana se povecao u odnosu na stari za 160X ,
mada ovo mi vise nije jasno, ili je rat oko velicine index baze izmedju googla i MSNa doveo do toga da su poceli da trokoraju i rade sve slabije
Molim sve webmastere koji procitaju tekst neka se ukljuce u diskusiju sa svojim iskustvima.
Puno pozdrava od Ivice.