[es] - Disable curl php

Wapx.WS
nezaposlen
beograd

Član broj: 258532
Poruke: 36
*.dynamic.isp.telekom.rs.

Sajt: wapx.ws

Profil

^{23.10.2010. u 19:00 - pre 164 meseci}

Da li postoji mogucnost da razlikujem curl od obicnog browsera i da mu onemogucim pristup sajtu, jer mi trosi dosta bandwidtha? U pitanju je php naravno.

http://wapx.ws

Odgovor na temu

Nikola Poša
Backend (PHP) developer
Beograd

Član broj: 173839
Poruke: 1616
*.adsl-a-1.sezampro.yu.

+33 Profil

Re: Disable curl php

^{23.10.2010. u 19:54 - pre 164 meseci}

Pa u slučaju curl zahteva, $_SERVER['HTTP_USER_AGENT'] će izgledati npr. ovako nekako: curl/7.18.0 (i486-pc-linux-gnu) libcurl/7.18.0 OpenSSL/0.9.8g. Imajući to u vidu, sa nekim regex-om možeš da proveriš sadržaj tog člana $_SERVER niza, i onda u zavisnosti od rezultata odbiješ/odobriš pristup.

Odgovor na temu

vatri
Banja Luka, RS

Član broj: 68697
Poruke: 1006
*.dynamic.dsl.t-2.net.

+18 Profil

Re: Disable curl php

^{23.10.2010. u 23:29 - pre 164 meseci}

Samo da napomenem da to nije 100% sigurno ;)
Npr:

Code (php):

...

curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");

...

Odgovor na temu

Jbyn4e

Član broj: 422
Poruke: 6049
*.ptt.rs.

+257 Profil

Re: Disable curl php

^{24.10.2010. u 06:46 - pre 164 meseci}

A na koji nacin ti to trosi "puno bandwith-a"? Skida ceo sajt ili neki deo? Ako direktno skida sa nekih adresa, uvedi proveru referera, mozda to pomogne, zavisi od tvog konkretnog slucaja (pretpostavljam da hoces da zabranis direktno skidanje igara linkom sa drugog sajta?)

Kad sve ostalo zakaže, pročitaj uputstvo...

Odgovor na temu

Wapx.WS
nezaposlen
beograd

Član broj: 258532
Poruke: 36
*.dynamic.isp.telekom.rs.

Sajt: wapx.ws

Profil

Re: Disable curl php

^{24.10.2010. u 11:48 - pre 164 meseci}

Citat:

Jbyn4e: A na koji nacin ti to trosi "puno bandwith-a"? Skida ceo sajt ili neki deo? Ako direktno skida sa nekih adresa, uvedi proveru referera, mozda to pomogne, zavisi od tvog konkretnog slucaja (pretpostavljam da hoces da zabranis direktno skidanje igara linkom sa drugog sajta?)

Linkuje mi igre, lazira refferer i onda skripta odobrava pristup fajlu za download. Tako da gotovo pola bandwidtha ode na skidanja sa tog drugog sajta. Fopen sam zabranio, iframe, hotlinkovanje takodje, ali ovaj curl pravi problem :)

Citat:

Nikola Poša: Pa u slučaju curl zahteva, $_SERVER['HTTP_USER_AGENT'] će izgledati npr. ovako nekako: curl/7.18.0 (i486-pc-linux-gnu) libcurl/7.18.0 OpenSSL/0.9.8g. Imajući to u vidu, sa nekim regex-om možeš da proveriš sadržaj tog člana $_SERVER niza, i onda u zavisnosti od rezultata odbiješ/odobriš pristup.

Hvala Nikola, nego jel ne postoji mogucnost da blokiram nekog ko normalno pristupa mom sajtu? Pretpostavljam da ne, tako da ovo dolazi u obzir :)

Citat:

vatri: Samo da napomenem da to nije 100% sigurno ;)
Npr:

Code (php):

...

curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");

...

E ovo je najveci problem, preko ovog koda mozesh da lazirash bilo koji browser, sad ostaje nada da lopov koristi neki "svoj" browser ;)

http://wapx.ws

Odgovor na temu

Nikola Poša
Backend (PHP) developer
Beograd

Član broj: 173839
Poruke: 1616
*.adsl-a-1.sezampro.yu.

+33 Profil

Re: Disable curl php

^{24.10.2010. u 12:48 - pre 164 meseci}

Pa ne preostaje ti ništa drugo nego da pratiš log fajlove na tvom serveru, i da onda na osnovu neke aktivnosti za koju smatraš da je sumnjiva, npr. prebrzo otvaranje stranica na tvom sajtu i slično, sastaviš neki .htaccess, koji će da blokira takve zahteve. Npr.:

Code:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ovdeIdeRegexPatternZaNestoNaStaSumnjas
RewriteRule (.*) - [F]

Ili više uslova:

Code:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} prviPattern [OR]
RewriteCond %{HTTP_USER_AGENT} drugi [OR]
RewriteCond %{HTTP_USER_AGENT} treci
RewriteRule (.*) - [F]

Naravno, uvek možeš da blokiraš i konkretnu IP adresu:

Code:
order allow,deny
deny from 192.168.1.2
allow from all

Odgovor na temu

mitke013
As Divljine
Freelancer

Član broj: 231934
Poruke: 338
178.22.216.*

+34 Profil

Re: Disable curl php

^{24.10.2010. u 13:21 - pre 164 meseci}

Ja bas hteo da predlozim referer, nisam znao da moze da se lazira.

Nego, a da probas sa javascript zastitom? Evo neka ideja iz glave; kad korisnik dodje na tvoj sajt normalno, preko ajax-a se stavi $_SESSION['real_visitor'] = true .

Pre nego sto skripta dozvoli skidanje, proveri ovaj uslov. curl i svi botovi se ponasaju kao browser bez JS, ovo ti bi odbilo dosta njih.

Odgovor na temu

mitke013
As Divljine
Freelancer

Član broj: 231934
Poruke: 338
178.22.216.*

+34 Profil

Re: Disable curl php

^{24.10.2010. u 13:23 - pre 164 meseci}

Citat:

Nikola Poša: Pa ne preostaje ti ništa drugo nego da pratiš log fajlove na tvom serveru, i da onda na osnovu neke aktivnosti za koju smatraš da je sumnjiva, npr. prebrzo otvaranje stranica na

Ovde ima jedan problem; mnogo korisnika otvori brdo tabova da se ucitavaju.

Odgovor na temu

Wapx.WS
nezaposlen
beograd

Član broj: 258532
Poruke: 36
*.dynamic.isp.telekom.rs.

Sajt: wapx.ws

Profil

Re: Disable curl php

^{24.10.2010. u 13:48 - pre 164 meseci}

Citat:

Nikola Poša: Pa ne preostaje ti ništa drugo nego da pratiš log fajlove na tvom serveru, i da onda na osnovu neke aktivnosti za koju smatraš da je sumnjiva, npr. prebrzo otvaranje stranica na tvom sajtu i slično, sastaviš neki .htaccess, koji će da blokira takve zahteve. Npr.:

Code:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ovdeIdeRegexPatternZaNestoNaStaSumnjas
RewriteRule (.*) - [F]

Ili više uslova:

Code:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} prviPattern [OR]
RewriteCond %{HTTP_USER_AGENT} drugi [OR]
RewriteCond %{HTTP_USER_AGENT} treci
RewriteRule (.*) - [F]

Naravno, uvek možeš da blokiraš i konkretnu IP adresu:

Code:
order allow,deny
deny from 192.168.1.2
allow from all

Hvala puno! Probacu nesto da iskombinujem.

Citat:

mitke013: Ja bas hteo da predlozim referer, nisam znao da moze da se lazira.

Nego, a da probas sa javascript zastitom? Evo neka ideja iz glave; kad korisnik dodje na tvoj sajt normalno, preko ajax-a se stavi $_SESSION['real_visitor'] = true .

Pre nego sto skripta dozvoli skidanje, proveri ovaj uslov. curl i svi botovi se ponasaju kao browser bez JS, ovo ti bi odbilo dosta njih.

To sa javascriptom bi doslo u obzir da je web sajt u pitanju, ali posto je ovo sajt namenjem prevashodno mobilnim telefonima, ima dosta browsera koji ga ne podrzavaju.

http://wapx.ws

Odgovor na temu

Miroslav Ćurčić
ex mVeliki
Novi Sad

Član broj: 19034
Poruke: 1118
*.adsl.eunet.rs.

+19 Profil

Re: Disable curl php

^{24.10.2010. u 15:18 - pre 164 meseci}

Blokiranje po IP adresi je za najpouzdanije rešenje, to se ne može lažirati.
Naravno lopov će možda pokušati da crawler prebaci na na neki drugi hosting (zbog druge IP adrese) i tako napravi "prozor" kroz koji će opet prolaziti ali to je ipak spor proces pa ćeš stizati da ispratiš te promene, a on će se posle 5-6 puta umoriti.
Takođe možeš da ga prijaviš Guglu kao plagijatora pa ako pazari ban onda mu slaba vajda od tog sadržaja.
Ako je u pitanju naš sajt možeš i da mu pripretiš Odeljenjem za visotehnološki kriminal pozivajući se na autorska prava.

_{"The quieter you become, the more you are able to hear."}
Blog | PowerCMS

Odgovor na temu

Wapx.WS
nezaposlen
beograd

Član broj: 258532
Poruke: 36
*.dynamic.isp.telekom.rs.

Sajt: wapx.ws

Profil

Re: Disable curl php

^{24.10.2010. u 15:40 - pre 164 meseci}

Evo uspeo sam za sad da uradim nesto, bas preko ip adrese. Nije u pitanju nas sajt.
Hvala na preciznim odgovorima ;)

http://wapx.ws

Odgovor na temu

technotize
Linux System & Network Administrator

Član broj: 238671
Poruke: 215
95.180.94.*

+31 Profil

Re: Disable curl php

^{24.10.2010. u 21:27 - pre 164 meseci}

Bolje koristi PHP sesije, nego proveru preko referera, posto ste i sami rekli da moze da se lazira.

Odgovor na temu

vatri
Banja Luka, RS

Član broj: 68697
Poruke: 1006
*.dynamic.dsl.t-2.net.

+18 Profil

Re: Disable curl php

^{24.10.2010. u 22:16 - pre 164 meseci}

Kako mislis koristiti sesije?

U principu sve se moze lazirati...

Odgovor na temu

midgard
Beograd, Vozdovac

Član broj: 59016
Poruke: 127
*.routotelecom.com.

+1 Profil

Re: Disable curl php

^{27.10.2010. u 11:29 - pre 164 meseci}

Napravi 2 skripte, 1 koja se poseti da bi korisnik downloadovao file, druga da postavi cookie i da mu file da download. Kada korisnik klikne na link DOWNLOAD ti mu postavis neki cookie random value, zatim uradis forward na drugu skriptu gde proveri da li ima cookie value taj i taj i ako ima das mu download.

Ima i varijanta da se lazira cookie, ali varujem da ce se namuciti dok skonta o cemu se radi i dok to namesti da fake-uje.

Sa druge strane uvek mozes da napravis dimanicki deny.

Primer iz glave na brzinu:
- Logujes svaki IP koji download fajl.
- Ako se isti IP pojavljuje recimo 5 puta za 1 minut ti ga ubacis na neku black listu.
- U skripti koja mu daje file za download prvo sto uradis proveris da li je njegov IP u black listi, ako jeste deny.

Ovo te spasava i kod promene IP adresa.

Ako je lik dovoljno pametan da vrti proxy adrese na svakom http requestu onda jebes ga:) Al to cisto sumnjam da je slucaj kod tebe.

Odgovor na temu

Wapx.WS
nezaposlen
beograd

Član broj: 258532
Poruke: 36
*.dynamic.isp.telekom.rs.

Sajt: wapx.ws

Profil

Re: Disable curl php

^{27.10.2010. u 15:30 - pre 164 meseci}

Citat:

technotize: Bolje koristi PHP sesije, nego proveru preko referera, posto ste i sami rekli da moze da se lazira.

Ovo lepo zvuchi, samo ako mogu neke smernice :)

Citat:

vatri:
U principu sve se moze lazirati...

Nazalost :)

Citat:

midgard: Napravi 2 skripte, 1 koja se poseti da bi korisnik downloadovao file, druga da postavi cookie i da mu file da download. Kada korisnik klikne na link DOWNLOAD ti mu postavis neki cookie random value, zatim uradis forward na drugu skriptu gde proveri da li ima cookie value taj i taj i ako ima das mu download.

Ima i varijanta da se lazira cookie, ali varujem da ce se namuciti dok skonta o cemu se radi i dok to namesti da fake-uje.

Sa druge strane uvek mozes da napravis dimanicki deny.

Primer iz glave na brzinu:
- Logujes svaki IP koji download fajl.
- Ako se isti IP pojavljuje recimo 5 puta za 1 minut ti ga ubacis na neku black listu.
- U skripti koja mu daje file za download prvo sto uradis proveris da li je njegov IP u black listi, ako jeste deny.

Ovo te spasava i kod promene IP adresa.

Ako je lik dovoljno pametan da vrti proxy adrese na svakom http requestu onda jebes ga:) Al to cisto sumnjam da je slucaj kod tebe.

Opet imam isti problem. Ne podrzavaju svi telefoni kolacice :S
To za IP dolazi u obzir, jer ima bas dosta downloada pa kad vidim da je jedan ip downloadovao 100 puta fajlove, odma na blacklist. Svidja mi se ovaj predlog. Samo sto je opet problem sa mobilnim telefonima jer dosta njih koristi istu ip adresu :)

http://wapx.ws

Odgovor na temu

midgard
Beograd, Vozdovac

Član broj: 59016
Poruke: 127
*.routotelecom.com.

+1 Profil

Re: Disable curl php

^{27.10.2010. u 16:03 - pre 164 meseci}

Pa ti onda stavi da IP moze da ima ograniceno vreme u blacklisti, recimo 1 dan. Posle ga obrises iz liste.

Odgovor na temu

Milos911
Serbia

Član broj: 219127
Poruke: 1230
*.mbb.telenor.rs.

+303 Profil

Re: Disable curl php

^{28.10.2010. u 12:06 - pre 164 meseci}

Ima bolja opcija od blokiranja lopova. Umesto da ga blokiras kad otkrijes da krade sadrzaj, ti lepo napravi redirekciju njegovog zahteva na lazni fajl.
Znaci posto ti krade igrice ti napravi jednu laznu koja ce da izbaci poruku tipa "Igrica je ukradena sa to i tog sajta, za download iste kliknite tu i tu". Ukoliko ti je ovo previse koplikovano da napravis (mislim na igricu) uzmi onu skriptu za jar bookmark i modifikuj je da salje na tvoj sajt (skriptu imas na brdu domacih wap sajtova, ako ne mozes da nadjes javi se na pp).
On nece odmah primetiti da saljes druge fajlove, korisnici ce videti sta radi i preci da skidaju kod tebe...

Odgovor na temu

technotize
Linux System & Network Administrator

Član broj: 238671
Poruke: 215
95.180.91.*

+31 Profil

Re: Disable curl php

^{26.01.2011. u 01:27 - pre 161 meseci}

Citat:

Wapx.WS: Ovo lepo zvuchi, samo ako mogu neke smernice :)

Jes da dosta kasnim, ali evo finog objasnjenja za PHP sesije: http://tutorijali.rs/view_tutorial.php?id=310

Odgovor na temu

vatri
Banja Luka, RS

Član broj: 68697
Poruke: 1006
*.static.stelkom.net.

+18 Profil

Re: Disable curl php

^{26.01.2011. u 09:09 - pre 161 meseci}

Citat:

Miroslav Ćurčić: Blokiranje po IP adresi je za najpouzdanije rešenje, to se ne može lažirati.
Naravno lopov će možda pokušati da crawler prebaci na na neki drugi hosting (zbog druge IP adrese) i tako napravi "prozor" kroz koji će opet prolaziti ali to je ipak spor proces pa ćeš stizati da ispratiš te promene, a on će se posle 5-6 puta umoriti...

Vrlo lako se lazira IP, provjereno.:)

Code (php):

...

$ips = array('xxx.xxx.xxx.xxx:80','xxx.xxx.xxx.xxx:80' );//array of proxies

$rand_ip = $ips[array_rand[$ips]];

curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);

curl_setopt($ch, CURLOPT_PROXY, $rand_ip);

Odgovor na temu

Miroslav Ćurčić
ex mVeliki
Novi Sad

Član broj: 19034
Poruke: 1118
*.adsl.eunet.rs.

+19 Profil

Re: Disable curl php

^{26.01.2011. u 09:40 - pre 161 meseci}

Da, proxi je vrsta "prozora" ali vremenom će vlasnik sajta pohvatati sve te IP-ove i šta će onda? Ako lopovu nije mrsko da stalno traži nove proksije ni vlasniku sajta ne bi trebalo da bude teško da povremeno pogleda ko mu vuče BW i da blokira te IP. Ja bolje od ovoga ne umem.

_{"The quieter you become, the more you are able to hear."}
Blog | PowerCMS

Odgovor na temu