Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Kako da napravim crawler za sopstveni pretrazivac

[es] :: Pretraživači i SEO :: Kako da napravim crawler za sopstveni pretrazivac

[ Pregleda: 3873 | Odgovora: 10 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

WawaHOO!
Karaburma

Član broj: 86823
Poruke: 602
*.90.eunet.yu.

Sajt: www.infobuk.com


Profil

icon Kako da napravim crawler za sopstveni pretrazivac03.03.2006. u 20:08 - pre 161 meseci
Potrebna mi je pomoc oko pravljenja web pauka tj. crawlera koji ce indeksirati pojmove koje mu navedem. Konkretno,intresuje me kako se takav crawler programira (koji se jezik koristi itd...) i kako da napisem algoritam koji ce rangirati rezultate.

Ako bude zaintresovanih za pomoc zeleo bih da postavim jos par pitanja.

Hvala unapred

[Ovu poruku je menjao WawaHOO! dana 24.03.2006. u 14:31 GMT+1]
 
Odgovor na temu

WawaHOO!
Karaburma

Član broj: 86823
Poruke: 602
*.211.eunet.yu.

Sajt: www.infobuk.com


Profil

icon Re: Kako da napravim crawler za sopstveni pretrazivac24.03.2006. u 13:34 - pre 161 meseci
Toliko strucni ljudi na ovom forumu a nijedan odgovor,ne moguce da niko ne zna.
Dajte barem neki savet oko pravljenja pretrazivaca ili tako nesto sto bi pomoglo,ne morate da krijete znanje.
Jezik neki ili nesto...
 
Odgovor na temu

bsaric
Bruno Šarić
SEO
Samobor, Hrvatska

Član broj: 72221
Poruke: 527
*.cmu.carnet.hr.

Sajt: www.seo.hr


Profil

icon Re: Kako da napravim crawler za sopstveni pretrazivac24.03.2006. u 14:00 - pre 161 meseci
Zaposli stručnjake na tom polju i pripremi budžet od nekoliko milijuna eura :)

Savjet koji tražiš nije realan za dobit.
Ne odgovaram na pitanja preko PP i emaila vezana uz SEO niti ne pregledavam
domene.
SEO blog | Životopis
- Posao
 
Odgovor na temu

WawaHOO!
Karaburma

Član broj: 86823
Poruke: 602
*.186.eunet.yu.

Sajt: www.infobuk.com


Profil

icon Re: Kako da napravim crawler za sopstveni pretrazivac24.03.2006. u 14:08 - pre 161 meseci
Ne mislim ja da napravim Google vec mali pretrazivac za 5000-6000 strana :-)
 
Odgovor na temu

jablan

Član broj: 8286
Poruke: 4534



+705 Profil

icon Re: Kako da napravim crawler za sopstveni pretrazivac24.03.2006. u 14:11 - pre 161 meseci
Citat:
WawaHOO!: Toliko strucni ljudi na ovom forumu a nijedan odgovor,ne moguce da niko ne zna.

Možda se ljudi plaše ovoga:
Citat:
WawaHOO!: Ako bude zaintresovanih za pomoc zeleo bih da postavim jos par pitanja.

Crawler možeš napraviti praktično u bilo kom programskom jeziku opšte namene.
 
Odgovor na temu

bojan_bozovic

Član broj: 29028
Poruke: 3068
*.pat-pool.le.sbb.co.yu.

Sajt: iching.ch


+309 Profil

icon Re: Kako da napravim crawler za sopstveni pretrazivac24.03.2006. u 14:18 - pre 161 meseci
Jedan, W3C validator, mozes da skines kao perl skriptu (mislim da koristi libwww) http://validator.w3.org/source/

@bsaric

Halo? Sta to pricas? W3C nije potosio milione evra na ovaj!

[Ovu poruku je menjao bojan_bozovic dana 24.03.2006. u 15:20 GMT+1]
 
Odgovor na temu

bsaric
Bruno Šarić
SEO
Samobor, Hrvatska

Član broj: 72221
Poruke: 527
*.cmu.carnet.hr.

Sajt: www.seo.hr


Profil

icon Re: Kako da napravim crawler za sopstveni pretrazivac24.03.2006. u 14:49 - pre 161 meseci
a čuj nije bio precizan u pitanju, pa niti ja :)
Ne odgovaram na pitanja preko PP i emaila vezana uz SEO niti ne pregledavam
domene.
SEO blog | Životopis
- Posao
 
Odgovor na temu

_owl_

Član broj: 318
Poruke: 1042
*.vdial.verat.net.



+3 Profil

icon Re: Kako da napravim crawler za sopstveni pretrazivac24.03.2006. u 20:37 - pre 161 meseci
Nije tesko napraviti jednostavan crawler, taj program samo treba da prodje kroz HTML dokument i pronadje linkove u <a href=...> tagovima (ako sada zanemarimo JS pomocu kojeg mogu da se zamaskiraju linkovi).
Algoritam koji bi prikupljene podatke rangirao na osnovu kljucnih moze vredeti mnogo para.
Owl
 
Odgovor na temu

mongule
Mladen Koznjak
Stuttgart - Germany

Član broj: 104441
Poruke: 21
*.pools.arcor-ip.net.

Sajt: www.electronic-research.d..


Profil

icon Re: Kako da napravim crawler za sopstveni pretrazivac03.10.2006. u 14:40 - pre 154 meseci
Webspider mozes i besplatno da skines na ovoj adresi:

Webspider download
 
Odgovor na temu

adamm
Beograd

Član broj: 86578
Poruke: 51
*.broadband.blic.net.



+2 Profil

icon Re: Kako da napravim crawler za sopstveni pretrazivac03.10.2006. u 17:10 - pre 154 meseci
Nutch je Open Source SE pisan u Javi.

Google "Nutch"
 
Odgovor na temu

markobgd
Marko Jevtic
Beograd

Član broj: 118686
Poruke: 1
*.beotel.net.

ICQ: 101547466


Profil

icon Re: Kako da napravim crawler za sopstveni pretrazivac25.10.2006. u 13:20 - pre 154 meseci
evo npr neka moja ideja ;)
ako hoces da tako nesto isprogramiras, treba ti xml/tidy/regexp
znachi pocnes od neke strane, libtidy sredi kod da bude xml valid, xml-om povadis a href-ove nadjes vrednost href-a uneses u queue, i tako redom citas iz queue.
znachi, bukvalno pratis linkove od svake strane i dajes da ide ka drugoj strani. e sad ogranicenje tu moze biti content.. npr, ako hoces samo yu sajtove da dodas u queue, moras neki algoritam da napravis da proceni dal je yu sajt ili nije;). sve te pronadjene href-ove analiziras za keyword-e pomocu regexp.. i unosis u neku svoju bazu, gde matchujes keyword sa link-om i nekim njenim rangom... za rang isto napravis neki mali algoritam, npr po broju stranica pronadjenih ili po broju linkova, da bi mogao output za neki keyword da sortiras.. ;)
to bi bila neka moja ideja ;)

poz
 
Odgovor na temu

[es] :: Pretraživači i SEO :: Kako da napravim crawler za sopstveni pretrazivac

[ Pregleda: 3873 | Odgovora: 10 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.