[es] - Detekcija robota od strane googla

glamoc

Član broj: 125620
Poruke: 346
*.pstech.rs.

+1 Profil

^{24.01.2011. u 17:17 - pre 161 meseci}

Da li je moguce da google provali da mu neki robot salje zahteve i da mu kao rezultat vraca pogresne podatke.
Ja sam napravio nekog robota koji preko operatora od googla zahteva neke metrike ( koristim php + curl) i rezultat koji mi vrati preko curla se drasticno razlikuje od onoga koji dobijem preko browsera.
Ako neko zna nesto o ovome neka pise

Kad covjeka napusti Sunce njegovog zavicaja ko ce mu posvijetliti na putu povratka

Odgovor na temu

Miroslav Ćurčić
ex mVeliki
Novi Sad

Član broj: 19034
Poruke: 1118
*.adsl.eunet.rs.

+19 Profil

Re: Detekcija robota od strane googla

^{24.01.2011. u 17:29 - pre 161 meseci}

Pre par godina kad sam se time bavio G. mi je lepo vraćao podatke ali kad bih preterao i poslao preko 1000 zahteva tog dana vraćao mi je stranicu s natpisom "previše zahteva s ovog IP-a, vi ste izgleda robot."

_{"The quieter you become, the more you are able to hear."}
Blog | PowerCMS

Odgovor na temu

glamoc

Član broj: 125620
Poruke: 346
*.ptt.rs.

+1 Profil

Re: Detekcija robota od strane googla

^{24.01.2011. u 18:54 - pre 161 meseci}

Pa nisam bas siguran da google limitira broj upita po danu za odredjenu IP adresu, moje siskustvo je da ukoliko mu prebrzo saljes zahteve onda on
posumlja da si robot i vrati ti stranicu sa CAPTCHA-om, i ne dozvolja va ti da mu saljes upite dok ne ispunis CAPTCHA.
Ukoliko si u pravu da te ogranici da mozes da saljes samo 1000 upita dnevno ne znam kako sa tim izlaze na kraj velike mreze koje na net izlaze preko proxy-ja

Kad covjeka napusti Sunce njegovog zavicaja ko ce mu posvijetliti na putu povratka

Odgovor na temu

Milos911
Serbia

Član broj: 219127
Poruke: 1230
*.mbb.telenor.rs.

+303 Profil

Re: Detekcija robota od strane googla

^{24.01.2011. u 19:07 - pre 161 meseci}

Citat:

glamoc: rezultat koji mi vrati preko curla se drasticno razlikuje od onoga koji dobijem preko browsera.

Ako skriptu pokreces na serveru, a ne u lokalu, onda ti google prilagodjava rezultate prema ip adresi servera. Takodje, kad radis pretragu preko browsera, google sigurno uzima u obzir stranice koje si ranije posecivao (a identifikuje te preko kolacica)...

Odgovor na temu

glamoc

Član broj: 125620
Poruke: 346
*.ptt.rs.

+1 Profil

Re: Detekcija robota od strane googla

^{24.01.2011. u 21:05 - pre 161 meseci}

Skriptu sam testirao na mom racunaru i rezultati su zacudjujuci.
Pokretao sam isti upit vise puta i ponekad mi vrati isti rezultat kao iz browsera a nekad i je to drasticno razlicit rezultat.

Npr: za upit

Code:
allintitle:neka rec

iz browsera mi vraca npr 42,000 rezultata (zapravo od cjele stranice koju mi google vrati meni je bitno koliki je rezultat pretrage) , dok kad taj upit posaljem iz php-a ponekad mi vrati npr 91,000 a ponekad isto kao i iz browsera.

Ne znam sta u upitu ovakvog tipa moze da zavisi od mojih prethodnih pretraga

Kad covjeka napusti Sunce njegovog zavicaja ko ce mu posvijetliti na putu povratka

Odgovor na temu

Miroslav Ćurčić
ex mVeliki
Novi Sad

Član broj: 19034
Poruke: 1118
*.adsl.eunet.rs.

+19 Profil

Re: Detekcija robota od strane googla

^{24.01.2011. u 21:40 - pre 161 meseci}

Preneo sam svoje iskustvo od pre par godina, moguće da je sada drugačije.

Što se tiče razlike, probaj da umesto u google, svoj skript usmeriš ka nekom svom serveru gde ćeš prihvatiti i zapisati HTTP parametre u neku txt datoteku, pa uporedi razlike u zaglavljima, pokušaj da što više simuliraš browser.

_{"The quieter you become, the more you are able to hear."}
Blog | PowerCMS

Odgovor na temu

Mobtel
Subotica

Član broj: 43396
Poruke: 963
*.adsl-a-1.sezampro.yu.

ICQ: 279816748

+6 Profil

Re: Detekcija robota od strane googla

^{24.01.2011. u 21:51 - pre 161 meseci}

Jbt o cemu vi govorite?

Jel moze malo objasnjenje,mislim skripte,zahtevi i to?
Mislim znam za to roboti capta i to ali mi nije jasno zasto bi to neko radio uopste i cemu to sluzi?

Sorry laik sam,pa ako bi malo objasnili,mozda i ja hocu da napravim robota?
hehehe

Odgovor na temu

flylord
Ilić Aleksandar
Simplicity d.o.o.
Nis/Uzice

Član broj: 2954
Poruke: 3859
*.static.sbb.rs.

ICQ: 4849714

+68 Profil

Re: Detekcija robota od strane googla

^{25.01.2011. u 09:07 - pre 161 meseci}

hmm, a zar ne postoji google search API ? I sto ne probas sa njim?

Odgovor na temu

Shadowed
Vojvodina

Član broj: 649
Poruke: 12848

+4784 Profil

Re: Detekcija robota od strane googla

^{25.01.2011. u 11:37 - pre 161 meseci}

Ako se dobro secam i API dozvoljava max. 1000 zahteva dnevno u besplatnoj varijanti.

Nebojsa Milanovic: Što se tiče Trumpa, smatram ga vrhunskim predsednikom i voleo bih da živim u državi na čijem je on čelu.
Nebojsa Milanovic: Rusija ne laže, ne vodi osvajačke ratove
Nebojsa Milanovic: Trump je svetla tačka u USA blatu.

Odgovor na temu

glamoc

Član broj: 125620
Poruke: 346
*.pstech.rs.

+1 Profil

Re: Detekcija robota od strane googla

^{25.01.2011. u 12:42 - pre 161 meseci}

Koliko ja znam API za pretrazivanje cjelog interneta vise ne postoji, ono sto pruza google API je jako ograniceno

Kad covjeka napusti Sunce njegovog zavicaja ko ce mu posvijetliti na putu povratka

Odgovor na temu

glamoc

Član broj: 125620
Poruke: 346
*.ptt.rs.

+1 Profil

Re: Detekcija robota od strane googla

^{25.01.2011. u 19:12 - pre 161 meseci}

Citat:

Mobtel: Jbt o cemu vi govorite?

Jel moze malo objasnjenje,mislim skripte,zahtevi i to?
Mislim znam za to roboti capta i to ali mi nije jasno zasto bi to neko radio uopste i cemu to sluzi?

Sorry laik sam,pa ako bi malo objasnili,mozda i ja hocu da napravim robota?
hehehe

Pa zamisli da imas neku bazu zanimljivih reci za koje zeli da pratis broj pojavljivanja u naslovima ili bazu nekih stranica za koje zelis da pratis
koliko se drugi pozivaju na taj sajt(linkuju ga), onda napravis robota koji prikuplja te podatke sa googla.
Lepo zvuci ali je malo tesko ostvarljivo posto google namece ogranicenja cim posumlja da ga neko bombarduje upitima, a kao najsavrseniji didtribuirani sistem nije bas podlezan nekim greskama koje bi se mogle iskoristiti
Toliko za sada ako te zanima jos nesto pitaj

Kad covjeka napusti Sunce njegovog zavicaja ko ce mu posvijetliti na putu povratka

Odgovor na temu

Miroslav Ćurčić
ex mVeliki
Novi Sad

Član broj: 19034
Poruke: 1118
*.dynamic.isp.telekom.rs.

+19 Profil

Re: Detekcija robota od strane googla

^{25.01.2011. u 19:29 - pre 161 meseci}

Obrati pažnju da Google svojim TOS-om zabranjuje objavljivanje derivata rezultata svojih pretraga.
Dakle sve tablice i top-liste koje tako dobiješ su samo za tvoju upotrebu, ne smeš ih javno objavljivati.
Toliko o legalnosti.

_{"The quieter you become, the more you are able to hear."}
Blog | PowerCMS

Odgovor na temu

Milos911
Serbia

Član broj: 219127
Poruke: 1230
*.mbb.telenor.rs.

+303 Profil

Re: Detekcija robota od strane googla

^{26.01.2011. u 00:13 - pre 161 meseci}

Jel preko js-a moguce ucitati neku stranicu u varijablu? Ako jeste, mogao bi da napravis da korisnikov browser ucita podatke, posalje ih tvojoj php skripti, ti ih obradis i vratis mu ih. Tako neces imati nikakva ogranicenja jer ce google videti samo korisnikov ip a ne tvoj...

Odgovor na temu

IcemanX
System administrator/Test automation
engineer
Betware doo
Beograd

Član broj: 253997
Poruke: 155
*.dynamic.isp.telekom.rs.

+2 Profil

Re: Detekcija robota od strane googla

^{28.01.2011. u 20:49 - pre 160 meseci}

Ja bih se pre pitao da li je moguće da google nesto ne provali ;)))

alea iacta est

Odgovor na temu