Pogodak.co.yu - prva iskustva

Ups :)) Sta ces, inercija...cim kad na "pretrazivacima" ugledam 'PR' ni ne razmisljam dalje od pageranka :)

Potpis

Jeff, one day you’ll understand that it’s harder to be kind than clever.

Ad pregledah statistiku za svoj forum i vidim da pogodak.co.yu trkeljise domen svakih tri do pet dana, praveci ogroman protok.

Ako se ovako nastavi, moracu da banujem pristup ovom pretrazivacu.

Na njihovom sajtu nisam nasao nikakve podatke kako mogu da kroz robots.txt podesim sta i kako da pregleda na forumu.

Pozd.
Bash sam hteo da napomenem ovo isto shto je broker rekao - njihov engine pravi zaista velike protoke ... ovaj mesec samo je napravio 1.5GB protoka na jednom mom sajtu, shto je nekih 3x vishe od MSN-a, krstarice ili googla. Ne bih ni primetio ali skripta ih je automatski stavila na forbidden pa me zanimalo o kome se radi :) Mislim taj protok u sushtini nije nishta veliko ... ali opet, u poredjenju sa drugim pretrazhivachima dosta vishe povlache sadrzhaja.

Svako dobro.

Moj http://www.kraljevo.com ne vidi, iako sam ga prijavio pre jedno 15-20 dana, al' zato neki KV sexy shop koji sam uradio drugaru i na server postavio u okviru istog naloga (ne troši mi ni 0.5% bandwidth-a) - prvi po svim živim keywords-ima :)))

Šta ćete, Balkanac, više voli ONO nego 'leba da jede :))

Pozdrav, Aleksandar

Potpis

..............................
Life will find the way...
..............................
Dobrodosli u Kraljevo http://www.kraljevo.com , Garmin mapa Grčke http://adventure.kraljevo.com/greece

More, ja cu da ga banujem. Ne odgovaraju na emailove i ne prestaju da srcu bandwidth, sad jos i cesce...

Ovo je sigurno neki bug, izgleda da upadne u pelju i ne zna da se iskobelja nego nanovo indeksira iste strane.

Pozdrav,
Pogodak! indeksira celokupan domaći Internet na svakih nedelju dana (pojedine sajtove i češće), ovo je glavni razlog zbog čega pravi znatno veće protoke od ostalih pretraživača. Sve potrebne informacije i uputstva za rešenje ovog problema, i postavljanje robots.txt datoteka, možete naći na adresi http://www.robotstxt.org. U pitanju je nezavisna studija koja se bavi ovom tematikom. Ako i nakon ovoga bude istih problema slobodno mi se obratite na mejl.
U rezultatima na Pogotku postoji određen broj stranica koje ne spadaju u domaći Internet. Uzrok ovome je što je jedan od kriterijuma za indeksiranje da se sajt nalazi na domaćim serverima. Pokazalo se da na domaćim serverima hostuje izvestan broj stranih sajtova. Ova pojava će u budućnosti biti sve ređa, međutim proći će određeni period dok se baza "pročisti" od ovih stranica.

Mislim da ti to ne bi bio popularan potez, da brishesh strane sajtove koji se hostuju kod domacih provajdera. Postoji odredjeni broj firmi koji hostuju svoje prezentacije (tipa predstavnishtva, konzulata itd), zashto ne bi i takve sajtove indeksirao? Mozhda bi mogao da uradish neshto slichno kao google - pretragu na engleskom jeziku. Ima dosta ljudi koji bi radije pokupili neku vazhnu informaciju na engleskom, a da dolazi sa domaceg hostinga.

PS. Moj sajt je indeksiran na pogotku!, ali ima strano ime. Nadam se da to nece ici u kantu

Bojane, trebao si ipak pretpostaviti da mi koji se zalimo znamo za robots.txt i imamo podesena pravila koja ocigledno ne smetaju Pogotku da nam pravi nenormalno veci protok nego svi ostali pretrazivaci zajedno.

Trebali bi ste ipak da date malo instrukcija kako da preko robots.txt postavmo posebna podesavanja samo za Pogodak. Ja stvarno ne bih da svim pretrazivacima ogranicavam pristup samo zato sto mi Pogotak pravi probleme. U svakom slucaju mi nije problem da zabranim pristup sajtu sa IP-ova koji pripadaju Pogotku, sto cu i da uradim, ako drugacije ne mogu da resim problem.

Ja i dalje mislim da je u pitanju neki bug u vasem softveru, jer onoliko trkeljisanje je nenormalno.

Što se tiče protoka, u slučaju sajta pretraga.co.yu do današnjeg dana situacija sa protokom kada se uporede Google i Pogodak izgleda ovako:
hits traffic
Googlebot 34590 829.19 MB
Pogodak.co.yu 26373 446.45 MB

Ukupno, meni samo spideri (26 na spisku) uzimaju dosta saobracaja, ali trenutno Google i Pogodak su najaktivniji.

Koje su kod tebe cifre Broker, kada je toliki problem?

Cifre su reda velicine 3-4 gigabajta. Radi se o forumu i izgleda da Pogodak ulece u neku mrtvu petlju posto ima mnogo ciklicnih linkova.

Slazem se sa brokerom.. Skoro sam i ja crawl-ovao jedan forum.. Jedan jedini thread moze imati vise linkova, sa raznim GET parametrima u URL-u..
Ali ne mislim bas da je mrtva petlja, samo je povecan broj "razlicitih" linkova..

Potpis

Mobilni telefoni - svet mobilnih telefona na dlanu

S obzirom da sa pogodak.co.yu ne dolaze konstruktivni komentari, na email ne odgovaraju, a email nadleznih na noviforum.si, koji su izgleda vlasnici pretrazivaca, ne radi (poruka mi se vratila sa objasnjenjem da navedeni korisnik ne postoji na njihovom serveru), a neobuzdano indeksiranje i dalje traje, ne preostaje mi nista drugo do da u potpunosti zabranim pristup svim IP adresama koje koristi ovaj pretrazivac za indeksiranje.

Usput, zabranicu i pristup ovim IP-ovima sa mog servera tako da za nas i nase korisnike ovaj server vise nece postojati. Prijavisu ove IP adrese na odgovarajuca mesta kao izvor zlonamernih napada na moj server.

Ni negativna reklama, na svakom mestu i u svako vreme nece izostati.

Ovo radim iz protesta, jer ne zelim da dozvolim da neko, iz niskih pobuda, da bi za sto krace vreme postigao sto vise indeksiranih pojmova, bespotrebno opterecuje moj server i pravi mi nepotrebne troskove.

Zao mi je sto je ispalo ovako, jer je Pogodak izgledao kao dobar servis. Ostaje samo da se nadam da ce najzad ozbiljno shvatiti u sta su se upustili.

IP adrese koje su banovane su:

Opseg: 193.189.169.64 - 193.189.169.127
Opseg: 195.250.198.0 - 195.250.198.255

Prijavicu nove IP adrese ukoliko utvrdim da ih koriste.

Ovim ne pozivan nikoga da sledi moj primer, ali vas pozivam da, ako primecujete da vam ovaj pretrazivac pravi nepotrebno veliki protok, oglasite se.

Pogodak! vrši indeksiranje jednom nedeljno isključivo iz želje da se korisnicima omogući pristup najažurnijim informacijama, što za posledicu ima povećan protok. Cifre za veličinu protoka koju prave naši spideri, koje je Broker naveo, svakako nisu zanemarljive medjutim mislim da zabrana pristupa našim IP adresama nije adekvatno rešenje problema. Treba da u što kraćem roku rešimo ovaj problem, sve sugestije i predlozi koji bi u tome pomogli su dobrodošli.

Mislim da je u pitanju organizacija sajta i neprepoznavanje kružnih petlji od strane pretraživača. Na našim sajtovima pogodak ne pravi veći promet nego što ga radi Google.

Mi smo imali ovakvu situaciju sa robotom krstarice, pravio je ogroman protok. Ni robots.txt nije pomogao, pa smo morali napraviti mali workaround da bi ukrotili krstaricu. To je svakako mala cena u odnosu na broj poseta koje dolaze sa pretraživača, bolje selektivno davati pretraživaču nego blokirati IP adrese, naročito što se ovakvi workaroundi prave u roku par minuta. Znam da bi bilo lepše da je svaki pretraživač kompatibilan sa sajtom koji radite, ali eto, ovakve situacije su nužno zlo.

Meni se sviđa pogodak, dobijamo sve više poseta sa njega, a i drago mi je što su naši sajtovi dobro rangirani na njemu :) Keep up the good work, i, naravno, rešite ovakve situacije kada se pravi ogroman protok :)

OK, sad vec vidim konstruktivniji pristup.

Za pocetak dajte nam User Agent ID i komande koji Pogodak prepoznaje, kako bi smo mogli da mu zadamo odgovarajuce parametre indeksiranja preko robots.txt

Nakon toga istrazite kako vam se pretrazivac ponasa u slucajevima kada je sadrzaj sajta generisan iz serverske skripte i gde se, vrlo cesto, sve vreme poziva isti dokument ali sa razlicitim parametrima, posto se ocigledno ne snalazi u takvim situacijama.

Stoji da bi smo mi mogli da ubacimo u skript kod koji ce da hendluje ovaj pretrazivac, ali mislimo da je to pogresan nacin. Pretrazivac, na prvom mestu ne sme da pravi ovakve probleme. Ako bi smo mi problem resavali kod nas, onda bi samo kod nas bio resen. Ako se problem resi na pretrazivacu onda niko vise nece imati taj problem.

Naravno, stvar je procene, a mi smo procenili da nam je efikasnije da zabranimo pristup pretrazivacu nego da se majemo sa njegovim hendlovanjem. Naravno da nam je bitno da se nas sajt vidi na pretrazivacu ali nam to nije od primarnog znacaja posto je sajt svakako vec dobrano vidljiv na druge nacine. U situaciji kakva je sada, ban nam je najprirodnije resenje, jer drugi prihvatljiv nacin kontrole ovog pretrazivaca nemamo.

Sajt www.putovanja.info sam "ručno" prijavio, pošto ga pogodak nije sam našao, i zaista se posle dve nedelje pojavio skoro kompletno indeksiran i na prvim mestima za sve važnije ključne reči koje me zanimaju. Čudna stvar je što ga sada (2-3 nedelje posle prvog pojavljivanja) uopšte nema u indexu. Da li praznite bazu pre svakog redovnog crawla? Kada sam ponovo otišao na ručno privaljivanje javljeno mi je da čeka odobrenje?!

Evo da se malo nasalimo sa pogotkom:



Mada je u stvari zbilja, pogledajte kako je na srpski preveden spisak tipova dokumenata.

:)

@pogodak

Morate nam dati User-agent za robots.txt - toga nema na sajtu pogotka.

U ime poduzeča Pogodak Beograd izvinjavam se srbski internetni zajednici za probleme koje su zbog pretraživača Pogodak.co.yu nastali.

Sada intenzivno radimo na ispravi spiderja za spideriranje dinamičko generiranih stranica, tako da će taj problem predvidoma biti sistemsko rešen u sledečem tednu.

U međuvremenu predlagamo, da problem rešavate na sledeči način:

ispraviti je treba /robots.txt datoteko sa sledečo vsebino:

User-agent: Mozilla/5.0 (compatible; Pogodak.co.yu/3.1)
Disallow: /search.jsp?
Disallow: /cgi/bin/

, gde se u Disallow vrstice upiše prefixe URI-jev, na kojima se ciklaju spiderji.

Ako ste zbog naših spiderjev imali ozbilniju štetu, javite se osobno i predlagajte na koji način možemo vam je kompenzirati.

Do sada je bilo na pretraživač Pogodak.co.yu dodatih više od 2.200 URL, zbog toga je privremenu došlo do neažurnog potvrđivanja upisa. Vjerujem, da če se i taj proces u skoroj budučnosti ispraviti.

Stvarno se trudimo, da napravimo search engine, koji će na najbolji način služiti srpski internetni zajednici, zbog toga molimo vas, da u slučaju, da imate komentare ili predloge javite se direktno na [email protected].

Lep pozdrav,

Peter Brecl, MBA
Int.Operations Manager
Noviforum Slovenia

Da li je neko primetio smanjenje opterecenja od Pogotka uz gore navedeni User agent?