Gogle boot i ostali roboti

Gogle boot i ostali roboti 31.12.2005. u 14:28 · pre 253 meseca #1

Pozdrav,
Nisam siguran dal ovo spada ovdje ali evo da pitam.
Naime, na sajtu mi je bandwith oko 7gb mjesečno, što najviše otpada na ameriku, tj. google botove i slične robote. tj. oni mi pojedu oko 4gb prometa (mislim da je malo pretjerano). dali se da nekako ograničit količina bandwitha koju oni uzimaju, ili zabranit im neki pristup ili kako već. Molim pomoć!

Potpis

www.area85.net

Re: Gogle boot i ostali roboti 01.01.2006. u 12:03 · pre 253 meseca #2

Mozes da ili smanjis velicinu svih stranica i tako smanjis ukupan protok ili ako to nije moguce zabranis pretrazivacima da uopste indeksiraju sajt (hint: google: robots.txt) ali ti ovo ne preporucujem jer ti se u tom slucaju sajt nece pojavljivati u pretrazivacima kao rezultat pretraga. Drugim recima kad neko ukuca kljucne reci tvoj sajt se nece pojaviti.

Re: Gogle boot i ostali roboti 02.01.2006. u 12:38 · pre 253 meseca #3

Najbolje resenje ti je da kupis jaci hosting paket.
Naravno da nije pametno zabraniti botove ...

Re: Gogle boot i ostali roboti 02.01.2006. u 13:48 · pre 253 meseca #4

Hvala na odgovorima.

Host paket je dosta velik, ali ipak mi se činilo koda mi malo previše kradu roboti. Sada sam im zabranio pristup nekom sadržaju koji nije toliko bitan, tj. ostavio sve ono što se tiče glavne teme stranice i tako to. Pa ću vidjet koliko bude to pomoglo, ili odmoglo.
Hvala

Potpis

www.area85.net

Re: Gogle boot i ostali roboti 04.01.2006. u 09:11 · pre 253 meseca #5

A i proveri da sajt zna da prepozna If-Modified-Since u http requestu i da po potrebi kulturno odgovori sa 304.

Potpis

If Images - Royalty Free and Rights Managed
images

Re: Gogle boot i ostali roboti 15.01.2006. u 23:02 · pre 253 meseca #6

Ako ti se nalazi sajt pod Apache server-om, .htaccess fajl ti je pravi shvajcarski noz za te svrhe:

Naredba poput ove moze da blokira posetioca na osnovu njegovog User agent-a:

Code:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^OmniExplorer
RewriteRule ^.* - [F]

Tako da ako primetis nekog bot-a koji mnogo krade bandwidth-a, pravac lista ;)

Neki evil botovi pristupaju sa praznim user agent-on, za njih moze da upali nesto slicno ovome

Code:
RewriteCond %{HTTP_REFERER}<->%{HTTP_user_agent} ^-<->|<->-$
RewriteRule .* - [F]

Poneko argumentuje da je ovaj poslednji postupak mnogo agresivan, ali odbijeni botovi su obicno pokusavali da menjaju 5-6 IP adresa za minut...
Koristim i sledece da bi blokirao posete sa odredjenih referer sajtova:

Code:
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://(www\.)?cttsd.net.*$ [OR]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?wedib.com.*$ [NC]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?epac.to.*$ [NC]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?dddddd.com.*$ [NC]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?1.am.*$ [NC]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?discount-phentermine.1.am.*$ [NC]
RewriteRule \.*$ http://www.spammersgotohell.com [R,L]

Dokumentuj se, imas puno tutorial-a na tu temu. Valja testirati sta radi od toga, da se ne desi nesto poput greske 500.

Voilà, happy hunting :)

Forum kao aplikacija na telefonu

Srodne teme