U poslednje vrijeme sam primjetio da mi ovaj BOT previse cesto posjecuje sajt. Evo recimo danas u roku od pola sata napravi mi 30 posjeta. E sad me zanima da li to opterecuje server (dosta sam povoljno nasao hosting tako da sumnjam da je neki jak serv.), a ako da, kako da ga zaustavim, ali da google i yahoo nastave sa indexiranjem?
Kako zaustaviti pogodak.ba bota
Zaključano
Zakačeno
Blokiraš bot putem robots.txt
Potpis
SEO Blog | Prati me na Twitteru! | Balkan SEO Forum | Serija video tutorijala na našem jeziku kako zaraditi preko Affiliate Marketinga
A oce li raditi ako ovako stavim?
Ili moze i da stavim IP adresu robota?
Ovo pitam da ne bi slucajno zaustavio google i ostale botove!
Code:
User-agent: pogodak
Disallow: /
User-agent: pogodak
Disallow: /
Ili moze i da stavim IP adresu robota?
Ovo pitam da ne bi slucajno zaustavio google i ostale botove!
@vatri
User-agent: Mozilla/5.0 (compatible; Pogodak.ba/3.1)
Crawl-delay: 100
Sa ovim ces povecati vreme izmedju dva requesta i tako ces smanjiti saobracaj.
pozz
User-agent: Mozilla/5.0 (compatible; Pogodak.ba/3.1)
Crawl-delay: 100
Sa ovim ces povecati vreme izmedju dva requesta i tako ces smanjiti saobracaj.
pozz
Hvala Dragana, to mi cak i vise odgovara, da ga ne bi zaustavio skroz...
Evo sad sam gledao svoj robots.txt koji vec postoji. U njemu se nalaze vec folderi koje da ne prate botovi.
E sad sam ispod stavio:
User-agent: Mozilla/5.0 (compatible; Pogodak.ba/3.1)
Crawl-delay: 100
Jel utice ovaj zadnji dio na prethodno?
Evo sad sam gledao svoj robots.txt koji vec postoji. U njemu se nalaze vec folderi koje da ne prate botovi.
Code:
User-agent: *
Disallow: /folder1/
Disallow: /folder2/
Disallow: /folder3/
.
.
.
User-agent: *
Disallow: /folder1/
Disallow: /folder2/
Disallow: /folder3/
.
.
.
E sad sam ispod stavio:
User-agent: Mozilla/5.0 (compatible; Pogodak.ba/3.1)
Crawl-delay: 100
Jel utice ovaj zadnji dio na prethodno?
Ne, stavi na pocetak, obavezno sa jednim enterom izmedju crawl delay-a i user agent-a:
Mozilla/5.0 (compatible; Pogodak.ba/3.1)
Crawl-delay: 100
User-agent: *
Disallow: /folder1/
Disallow: /folder2/
Disallow: /folder3/
Mozilla/5.0 (compatible; Pogodak.ba/3.1)
Crawl-delay: 100
User-agent: *
Disallow: /folder1/
Disallow: /folder2/
Disallow: /folder3/
Evo stavio sam, videcemo sta ce se desiti :)
Hvala jos jednom i pozdrav
Hvala jos jednom i pozdrav