[es] - Kako da napravim crawler za sopstveni pretrazivac

WawaHOO!
Karaburma

Član broj: 86823
Poruke: 602
*.90.eunet.yu.

Sajt: www.infobuk.com

Profil

Kako da napravim crawler za sopstveni pretrazivac

^{03.03.2006. u 20:08 - pre 220 meseci}

Potrebna mi je pomoc oko pravljenja web pauka tj. crawlera koji ce indeksirati pojmove koje mu navedem. Konkretno,intresuje me kako se takav crawler programira (koji se jezik koristi itd...) i kako da napisem algoritam koji ce rangirati rezultate.

Ako bude zaintresovanih za pomoc zeleo bih da postavim jos par pitanja.

Hvala unapred

_{[Ovu poruku je menjao WawaHOO! dana 24.03.2006. u 14:31 GMT+1]}

Infobuk | Tutorialo | CSS | Affiliate programs

Odgovor na temu

WawaHOO!
Karaburma

Član broj: 86823
Poruke: 602
*.211.eunet.yu.

Sajt: www.infobuk.com

Profil

Re: Kako da napravim crawler za sopstveni pretrazivac

^{24.03.2006. u 13:34 - pre 219 meseci}

Toliko strucni ljudi na ovom forumu a nijedan odgovor,ne moguce da niko ne zna.
Dajte barem neki savet oko pravljenja pretrazivaca ili tako nesto sto bi pomoglo,ne morate da krijete znanje.
Jezik neki ili nesto...

Infobuk | Tutorialo | CSS | Affiliate programs

Odgovor na temu

bsaric
Bruno Šarić
SEO
Samobor, Hrvatska

Član broj: 72221
Poruke: 527
*.cmu.carnet.hr.

Sajt: www.seo.hr

Profil

Re: Kako da napravim crawler za sopstveni pretrazivac

^{24.03.2006. u 14:00 - pre 219 meseci}

Zaposli stručnjake na tom polju i pripremi budžet od nekoliko milijuna eura :)

Savjet koji tražiš nije realan za dobit.

Ne odgovaram na pitanja preko PP i emaila vezana uz SEO niti ne pregledavam
domene.
SEO blog | Životopis
- Posao

Odgovor na temu

WawaHOO!
Karaburma

Član broj: 86823
Poruke: 602
*.186.eunet.yu.

Sajt: www.infobuk.com

Profil

Re: Kako da napravim crawler za sopstveni pretrazivac

^{24.03.2006. u 14:08 - pre 219 meseci}

Ne mislim ja da napravim Google vec mali pretrazivac za 5000-6000 strana :-)

Infobuk | Tutorialo | CSS | Affiliate programs

Odgovor na temu

jablan

Član broj: 8286
Poruke: 4541

+710 Profil

Re: Kako da napravim crawler za sopstveni pretrazivac

^{24.03.2006. u 14:11 - pre 219 meseci}

Citat:

WawaHOO!: Toliko strucni ljudi na ovom forumu a nijedan odgovor,ne moguce da niko ne zna.

Možda se ljudi plaše ovoga:

Citat:

WawaHOO!: Ako bude zaintresovanih za pomoc zeleo bih da postavim jos par pitanja.

Crawler možeš napraviti praktično u bilo kom programskom jeziku opšte namene.

Odgovor na temu

bojan_bozovic

Član broj: 29028
Poruke: 3292
*.pat-pool.le.sbb.co.yu.

Sajt: angelstudio.org

+392 Profil

Re: Kako da napravim crawler za sopstveni pretrazivac

^{24.03.2006. u 14:18 - pre 219 meseci}

Jedan, W3C validator, mozes da skines kao perl skriptu (mislim da koristi libwww) http://validator.w3.org/source/

@bsaric

Halo? Sta to pricas? W3C nije potosio milione evra na ovaj!

_{[Ovu poruku je menjao bojan_bozovic dana 24.03.2006. u 15:20 GMT+1]}

Odgovor na temu

bsaric
Bruno Šarić
SEO
Samobor, Hrvatska

Član broj: 72221
Poruke: 527
*.cmu.carnet.hr.

Sajt: www.seo.hr

Profil

Re: Kako da napravim crawler za sopstveni pretrazivac

^{24.03.2006. u 14:49 - pre 219 meseci}

a čuj nije bio precizan u pitanju, pa niti ja :)

Ne odgovaram na pitanja preko PP i emaila vezana uz SEO niti ne pregledavam
domene.
SEO blog | Životopis
- Posao

Odgovor na temu

_owl_

Član broj: 318
Poruke: 1043
*.vdial.verat.net.

+3 Profil

Re: Kako da napravim crawler za sopstveni pretrazivac

^{24.03.2006. u 20:37 - pre 219 meseci}

Nije tesko napraviti jednostavan crawler, taj program samo treba da prodje kroz HTML dokument i pronadje linkove u <a href=...> tagovima (ako sada zanemarimo JS pomocu kojeg mogu da se zamaskiraju linkovi).
Algoritam koji bi prikupljene podatke rangirao na osnovu kljucnih moze vredeti mnogo para.

Owl

Odgovor na temu

mongule
Mladen Koznjak
Stuttgart - Germany

Član broj: 104441
Poruke: 21
*.pools.arcor-ip.net.

Sajt: www.electronic-research.d..

Profil

Re: Kako da napravim crawler za sopstveni pretrazivac

^{03.10.2006. u 14:40 - pre 213 meseci}

Webspider mozes i besplatno da skines na ovoj adresi:

Webspider download

Electronic Research
Kalender
Elres Magazin
Bildschirmschoner
Ueberwachungskamera

Odgovor na temu

adamm
Beograd

Član broj: 86578
Poruke: 51
*.broadband.blic.net.

+2 Profil

Re: Kako da napravim crawler za sopstveni pretrazivac

^{03.10.2006. u 17:10 - pre 213 meseci}

Nutch je Open Source SE pisan u Javi.

Google "Nutch"

Odgovor na temu

markobgd
Marko Jevtic
Beograd

Član broj: 118686
Poruke: 1
*.beotel.net.

ICQ: 101547466

Profil

Re: Kako da napravim crawler za sopstveni pretrazivac

^{25.10.2006. u 13:20 - pre 212 meseci}

evo npr neka moja ideja ;)
ako hoces da tako nesto isprogramiras, treba ti xml/tidy/regexp
znachi pocnes od neke strane, libtidy sredi kod da bude xml valid, xml-om povadis a href-ove nadjes vrednost href-a uneses u queue, i tako redom citas iz queue.
znachi, bukvalno pratis linkove od svake strane i dajes da ide ka drugoj strani. e sad ogranicenje tu moze biti content.. npr, ako hoces samo yu sajtove da dodas u queue, moras neki algoritam da napravis da proceni dal je yu sajt ili nije;). sve te pronadjene href-ove analiziras za keyword-e pomocu regexp.. i unosis u neku svoju bazu, gde matchujes keyword sa link-om i nekim njenim rangom... za rang isto napravis neki mali algoritam, npr po broju stranica pronadjenih ili po broju linkova, da bi mogao output za neki keyword da sortiras.. ;)
to bi bila neka moja ideja ;)

poz

Odgovor na temu