Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Rewrite rule za blockiranje facebookexternalhit bot-a

[es] :: Linux/UNIX serveri i servisi :: Rewrite rule za blockiranje facebookexternalhit bot-a

[ Pregleda: 4661 | Odgovora: 8 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

nemnesic
nemnesic
Software Developer
Vranje Florida

Član broj: 44355
Poruke: 798
*.dynamic.sbb.rs.



+63 Profil

icon Rewrite rule za blockiranje facebookexternalhit bot-a06.03.2013. u 12:02 - pre 102 meseci
Jel moze nego da mi napise Rewrite rule da blockiram facebookexternalhit bota?

Inace problem je u tome sto Facebook bot ima neku bug i u poslednja 3 sata nam flood-uje webserver i CPU se spike-uje do 90%.
Pa hocu dok oni ne srede taj bug da blockiram a sam ne umem a nas server admin spava (zbog vremenske razlike...nije lenj).

evo dela is access_log-a

Code:

10.244.142.212 - - [06/Mar/2013:05:55:14 -0500] "GET /image/renderProductImage?id=37 HTTP/1.1" 503 409 "-" "facebookexternalhit/1.1 (+[url=http://www.facebook.com/externalhit_uatext.php)]http://www.facebook.com/externalhit_uatext.php)[/url]"
10.244.142.212 - - [06/Mar/2013:05:55:15 -0500] "GET /image/renderProductImage?id=37 HTTP/1.1" 503 409 "-" "facebookexternalhit/1.1 (+[url=http://www.facebook.com/externalhit_uatext.php)]http://www.facebook.com/externalhit_uatext.php)[/url]"
10.244.142.212 - - [06/Mar/2013:05:55:15 -0500] "GET /image/renderProductImage?id=37 HTTP/1.1" 503 409 "-" "facebookexternalhit/1.1 (+[url=http://www.facebook.com/externalhit_uatext.php)]http://www.facebook.com/externalhit_uatext.php)[/url]"
10.244.142.212 - - [06/Mar/2013:05:55:15 -0500] "GET /image/renderProductImage?id=37 HTTP/1.1" 503 409 "-" "facebookexternalhit/1.1 (+[url=http://www.facebook.com/externalhit_uatext.php)]http://www.facebook.com/externalhit_uatext.php)[/url]"
10.244.142.212 - - [06/Mar/2013:05:55:15 -0500] "GET /image/renderProductImage?id=37 HTTP/1.1" 503 409 "-" "facebookexternalhit/1.1 (+[url=http://www.facebook.com/externalhit_uatext.php)]http://www.facebook.com/externalhit_uatext.php)[/url]"
10.244.142.212 - - [06/Mar/2013:05:55:15 -0500] "GET /image/renderProductImage?id=37 HTTP/1.1" 503 409 "-" "facebookexternalhit/1.1 (+[url=http://www.facebook.com/externalhit_uatext.php)]http://www.facebook.com/externalhit_uatext.php)[/url]"
10.244.142.212 - - [06/Mar/2013:05:55:16 -0500] "GET /image/renderProductImage?id=37 HTTP/1.1" 503 409 "-" "facebookexternalhit/1.1 (+[url=http://www.facebook.com/externalhit_uatext.php)]http://www.facebook.com/externalhit_uatext.php)[/url]"
10.244.142.212 - - [06/Mar/2013:05:55:16 -0500] "GET /image/renderProductImage?id=37 HTTP/1.1" 503 409 "-" "facebookexternalhit/1.1 (+[url=http://www.facebook.com/externalhit_uatext.php)]http://www.facebook.com/externalhit_uatext.php)[/url]"
10.244.142.212 - - [06/Mar/2013:05:55:16 -0500] "GET /image/renderProductImage?id=37 HTTP/1.1" 503 409 "-" "facebookexternalhit/1.1 (+[url=http://www.facebook.com/externalhit_uatext.php)]http://www.facebook.com/externalhit_uatext.php)[/url]"
10.244.142.212 - - [06/Mar/2013:05:55:16 -0500] "GET /image/renderProductImage?id=37 HTTP/1.1" 503 409 "-" "facebookexternalhit/1.1 (+[url=http://www.facebook.com/externalhit_uatext.php)]http://www.facebook.com/externalhit_uatext.php)[/url]"
 
Odgovor na temu

cyBerManIA
I ovo T ono
Space

Član broj: 25195
Poruke: 698
*.ptt.rs.

Sajt: www.facebook.com/cyberman..


+263 Profil

icon Re: Rewrite rule za blockiranje facebookexternalhit bot-a06.03.2013. u 12:45 - pre 102 meseci
Da se ne majes agentima, dodaj ovo u .htaccess

Code:
order allow,deny
deny from 10.244.142.212
allow from all 

 
Odgovor na temu

nemnesic
nemnesic
Software Developer
Vranje Florida

Član broj: 44355
Poruke: 798
*.dynamic.sbb.rs.



+63 Profil

icon Re: Rewrite rule za blockiranje facebookexternalhit bot-a06.03.2013. u 13:09 - pre 102 meseci
Citat:
cyBerManIA: Da se ne majes agentima, dodaj ovo u .htaccess

Code:
order allow,deny
deny from 10.244.142.212
allow from all 


hvala na odgovoru ali na zalost ne mogu da menjam .htaccess
moram da menjam vhosts.conf
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2740

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+628 Profil

icon Re: Rewrite rule za blockiranje facebookexternalhit bot-a06.03.2013. u 13:53 - pre 102 meseci
Citat:
cyBerManIA: Da se ne majes agentima, dodaj ovo u .htaccess

Code:
order allow,deny
deny from 10.244.142.212
allow from all 

Ne radi ovo!

Ovo 10.* je neki interni IP, verovatno imas neki load balanser / reverzni proxy, koristis amazon aws ili tako nesto... Ako ovo blokiras, blokiraces ceo sajt svima.

Vidi mozes li da dobijes X-Forwarded-For header, pa po njemu da radis.
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

nemnesic
nemnesic
Software Developer
Vranje Florida

Član broj: 44355
Poruke: 798
*.dynamic.sbb.rs.



+63 Profil

icon Re: Rewrite rule za blockiranje facebookexternalhit bot-a06.03.2013. u 13:57 - pre 102 meseci
upravo tako 10.244.142.212 je load balancer. i Jeste ovo je na AWS.

probao sam nesto ovako ali ne radi. svi dobiju 403. ne samo facebook.

Code:

RewriteCond %{HTTP_USER_AGENT} ^facebookexternalhit/1\.1\ \(\+http://www\.facebook\.com/externalhit_uatext.php\)$ [NC,OR]
RewriteRule ^  -   [F]
 
Odgovor na temu

nemnesic
nemnesic
Software Developer
Vranje Florida

Član broj: 44355
Poruke: 798
*.dynamic.sbb.rs.



+63 Profil

icon Re: Rewrite rule za blockiranje facebookexternalhit bot-a06.03.2013. u 15:08 - pre 102 meseci
pa da li je moguce da niko nece da mi ovo na brzinu odradi?
 
Odgovor na temu

Tyler Durden
Tyler Durden
Beograd

Član broj: 4312
Poruke: 3379
2001:8c8:0:130:.*



+1365 Profil

icon Re: Rewrite rule za blockiranje facebookexternalhit bot-a06.03.2013. u 15:22 - pre 102 meseci
Jesi probao ovako?

Code:

RewriteCond %{HTTP_REFERER} ^.*facebook\.com*.$ [NC]
RewriteRule .* - [F]


U svakom slučaju najbolje bi bilo da to blokiraš prije http servisa na nivou firewall-a.
Beneath civilization's fragile crust, cold chaos churns...
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2740

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+628 Profil

icon Re: Rewrite rule za blockiranje facebookexternalhit bot-a06.03.2013. u 17:33 - pre 102 meseci
- Dodaj u apache logove XFF i loguj ga.
- Vidi sa kog IP-a ti dolaze ti zahtevi
- Dodaj u firewall na amazonu te IP-ove i blokiraj ih.
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

cyBerManIA
I ovo T ono
Space

Član broj: 25195
Poruke: 698
*.ptt.rs.

Sajt: www.facebook.com/cyberman..


+263 Profil

icon Re: Rewrite rule za blockiranje facebookexternalhit bot-a06.03.2013. u 19:22 - pre 102 meseci
LOL nisam ni overio brojke, ja sam po defaultu copy/paste, kad ono 10.0.0.0/8
Uvek duplo proveri kad neko nesto napise.

---
Ok, ipak da se vratimo na user agent, ipak ga fb nece menjati svaki cas.
Pretpostavljam da imas Apache i mod mod_setenvif i

SetEnvIf User-Agent ^facebookexternalhit/1\.1 zabrani
<Directory /direktorijum>
Order Allow,Deny
Allow from all
Deny from env=zabrani
</Directory>

gde je /direktorijum unesi dir do www, najverovatnije /usr/www; /www i slicno.

---
Ako ne uspe sa useragentom, blokiraj ih na firewallu.


 
Odgovor na temu

[es] :: Linux/UNIX serveri i servisi :: Rewrite rule za blockiranje facebookexternalhit bot-a

[ Pregleda: 4661 | Odgovora: 8 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.