Srodne teme

25.06.2001. mount vfat neradi
07.01.2002. Dobijam tackice ...
30.06.2002. RPM
02.04.2004. Problem sa rezanjem diskova u XP-u
22.02.2004. D3DXMatrixAffineTransformation?
25.03.2004. Detaljno objašnjenje za ISDN (2B + D)
26.02.2008. Sta nevalja u ovom SQL-u?
11.01.2006. firmware za Xwave

Navigacija

Brisanje liste

Lista poslednjih: 16, 32, 64, 128 poruka.

Cluster i sta dobijam tim

[es] :: Windows mreže :: Cluster i sta dobijam tim
(TOP topic, by Aleksandar Marković)
Strane: 1 2

[ Pregleda: 30980 | Odgovora: 21 ] > FB > Twit

Autor

yiipi
Petrovic Vladimir
Krusevac

Član broj: 4779
Poruke: 7
*.gw.krusevac.tehnicom.net

Profil

Cluster i sta dobijam tim

^{13.08.2002. u 14:54 - pre 268 meseci}

Interesuje me kako da postavim cluster na jednoj mrezi koja se sastoji od 20 Athalon_a XP 1.8GHz.Sistem bi trebalo da radi pod Windowsima mada postoji mogucnost i da se postavi linux,mada bi meni vise odgovarlo da to bude windows zbog aplikacija.Svaka pomoc na tu temu bi mi bila od velike koristi tako da i bilo koji trag o ovoj temi meni znaci mnogo.Treba mi i koji link vezan za ovu temu a da nije mlacenje prazne slame i okretanje u krug. Unapred hvala svima koji su zainteresovani za ov temu i oni koji mi mogu pomoci da ovaj projekat uspe.
Da li mogu aplikacije pisane za jednoprocesorske sisteme koristiti resurse klastera? (Jos jedno pitanje od znacaja za mene

Odgovor na temu

Aleksandar Vidakovic
Aleksandar Vidaković
Beograd

Član broj: 4881
Poruke: 38
217.26.70.*

Profil

Re: Cluster i sta dobijam tim

^{13.08.2002. u 15:30 - pre 268 meseci}

Što se tiče aplikacije, ona mora biti svesna drugih nodova, odnosno napisana na specijalan način. Za to se obično koriste gotova rešenja protokola kao što je npr. MPI (Message Passing Interface) ili PVM (Parallel Virtual Machine).

najbolja implementacija MPI protokola je na:

http://www.lam-mpi.org/

a za PVM:

http://www.csm.ornl.gov/pvm/pvm_home.html

Imaš više varijanti: preko Thread-ova, tj. deljena memorija ili distribuirana memorija, ali to ustvari nije bitno s obzirom da su ovi protokoli već implementirani, pa ti nije ni bitno kako funkcionišu, jer se sa tačke gledišta onoga ko koristi neku implementaciju PVM-a ili MPI-ja, sve svodi na pozive funkcija ili metoda neke klase ako koristiš C++ implementaciju MPI-ja.

Ali nisam siguran da postoje implementacije MPI i PVM za windows, možda grešim. Ali čak i ako postoji to mora da je jako sporo i nestabilno pod windowsima.

Što se tiče Beowulf linux klastera, njima se dobija na brzini, jer se "paralelno" izvršava kod koji bi se inače izvršavao samo na jednoj mašini sa jednim procesorom. Obično se mora preraditi kod da bi mogao "paralelno" da se izvršava. Ideja je sledeća: podeli se problem na logičke celine, zatim svaki od nodova izvršava po jednu logičku celinu i na kraju se sve sumira i sklopi na master nodu.

Naravno pošto to može biti mukotrpan proces, razvijeno je više alata koji olakšavaju sam proces prerade koda. Tako, na primer, imaš paket koji se zove "clusterit". U njemu se nalazi nekih desetak programa/alata koji ti omogućuju da samo kažeš šta treba paralelno da se dogodi i on sve odradi sam

Što se tiče cluster-a i takvih stvari, linux je zaista najbolji, pošto je linux-ov kernel tako napisan da predstavlja pravi multitasking, multithreaded, multiuser OS, za razliku od windows-a koji je kvazi-multitasking, kvazi-multithreaded OS. Naravno i BSD je verovatno ok, samo ga nisam probao, pa ne znam

Uh, zaboravio sam da kažem da su ovo software cluster-i, koji su besplatni ako ga ti sam napraviš, ali postoje i hardware cluster-i koji su daleko skuplja varijanta, ali u slučaju widnows-a jedina moguća!

[Ovu poruku je menjao Aleksandar Vidakovic dana 14.08.2002 u 08:36 AM GMT] }
return $b;
' LANGUA

Odgovor na temu

Dragi Tata
Malo ispod Kanade

Član broj: 1958
Poruke: 3906
199.171.112.*

+6 Profil

Re: Cluster i sta dobijam tim

^{13.08.2002. u 17:02 - pre 268 meseci}

Pogledaj ovaj link. Tamo ima i neki word dokument sa uputstvima.

http://www.microsoft.com/windo...tworks/cluster/clusterarch.asp

U mojoj firmi koristimo cluster od dve mašine za DB server i radi kao sat. Međutim, ne bih znao tačno kako se to izvodi, jer nisam bio uključen u taj projekat.

Odgovor na temu

Aleksandar Vidakovic
Aleksandar Vidaković
Beograd

Član broj: 4881
Poruke: 38
217.26.70.*

Profil

Re: Cluster i sta dobijam tim

^{14.08.2002. u 08:48 - pre 268 meseci}

Bio sam na linku koji je post-ovao Dragi Tata, i Micro$oft je zaista pokušao na bedan način da zavara javnost. Da, skinuo sam Word dokumenat koji se nalazi na tom linku (imam ja OpenOffice pod linux-om

). Naime, taj tip cluster-a obezbeđuje kontinuitet servisa (mada to i nije cluster u smislu Beowulf cluster-a), u slučaju da neki kompjuter otkaže. Naime, ako imamo dva kompjutera koji su npr. DB serveri, tada ako crkne jedan, njegov posao preuzima drugi! Pa, to nema nikakve veze sa paralelnošću, to je čak suprotno od toga, to je sekvencijalnost. To je nešto najjednostavnije i najbesmislenije što sam ikad pročitao. Ne mogu da verujem da ljudi daju pare za ovo. Pa to se može za vrlo kratko vreme napraviti preko soketa, na sledeći način:

1) jedan master i jedan slave - replika
2) provera aktivnosti master-a preko soketa (ništa lakše). Čim master otkaže, istog trenutka, sekunde, stotinke slave zna za to i odmah preuzima rad.

To što mikrosoft "prodaje" nema nikakve veze sa paralelnim izvršavanjem koda, iz prostog razloga, jer kad otkaže jedan, preuzima drugi. Znači tu uvek radi samo jedan kompjuter i nema ni govora o paralelnom izvršavanju. Osim toga jedino izvorni kod OpenSource DBMS-a bi mogao da se preradi da se izvršava paralelno na više kompjutera, iz prostog razloga, jer je izvorni kod javno raspoloživ. Nikada ne bi mogao ni jedan mikrosoftov proizvod da se preradi da radi na više kompjutera paralelno jer oni imaju CloseSource politiku.

Zašto je dobro paralelno izvršavanje? Pa iz prostog razloga što više procesora paralelno rešava isti problem. Ali ti procesori se nalaze svaki na drugom kompjuteru. Svaki od tih kompjutera ima svoju memoriju u slučaju MPI-ja(valjda najbolja varijanta). Znači svaki od kompjutera/nodova daje maksimum. Više kompjutera koji paralelno rešavaju isti problem, mogu rešiti taj problem neuporedivo brže od jednog kompjutera.

Uzmimo sledeći primer u obzir:
Imamo klijente koji dolaze paralelno na naš server i zahtevaju neke kompleksne izveštaje.

U slučaju widnowsa:
To sve opslužuje jedan server, a kad on crkne (bilo zato što je crko hardver ili zato što se pojavio "invalid instruction, sa stek dump-om" ili zato što se pojavio "plavi ekran smrti" ), sve preuzima onaj drugi. To je zaista veliko opterećenje za samo jedan kompjuter, tako da će mnogi klijenti čekati, naravno samo ako takvih klijenata ima mnogo i ako su izveštaji zaista kompleksni i ako postoje jako kompleksni proračuni i obrade.

Slučaj Linux Beowulf cluster-a:
dolaze klijenti sa svojim kompleksnim zahtevima i upućuju ih serveru. Zatim server prosleđuje zahtev koji se raspodeljuje na nodove(kompjutere koji pripadaju cluster-u, kojih može biti jako mnogo). Oni te zahteve obrađuju paralelno. Ovo je prva varijanta. Druga varijanta, bi bila da server prosleđuje sve samo jednom nodu, nodu koji je najmanje opterećen. Izbor varijante zavisi od problema. Prvu varijantu Linux Beowulf klastera je inače teže napraviti. ide u nedogled. Dok se ti bavi

Odgovor na temu

Dragi Tata
Malo ispod Kanade

Član broj: 1958
Poruke: 3906
199.171.112.*

+6 Profil

Re: Cluster i sta dobijam tim

^{14.08.2002. u 16:58 - pre 268 meseci}

E, da! Ima i network load balancing - to je za raspoređivanje rada na više servera:

http://www.microsoft.com/windo...nfo/howitworks/cluster/nlb.asp

Odgovor na temu

Mihailo
Mihailo Đorić

Član broj: 1016
Poruke: 2875
*.verat.net

+1 Profil

Re: Cluster i sta dobijam tim

^{14.08.2002. u 18:30 - pre 268 meseci}

Citat:

Beowulf FAQ:
7. Does anyone have a database that will run faster on a Beowulf than on a single-node machine? No.

Nema baze.

Citat:

3. Can I take my software and run it on a Beowulf and have it go faster? Maybe, if you put some work into it. You need to split it into
parallel tasks that communicate using MPI or PVM or network sockets or
SysV IPC. Then you need to recompile it.

Nema softvera.

Citat:

5. Is there a compiler that will automatically parallelize my code for a Beowulf, like SGI's compilers? No.

Nema kompajlera.

Nije mi namera da omalovažavam ovaj projekat, ali njegova primena mi deluje vrlo kompleksno i sa neizvesnim ishodom.

Što se tiče Microsofta, WLB i NLB se odnose na raspoređivanje zahteva klijenata na 2 ili 4 servera, i to proverno radi sa SQL-om 2000, Exchange serverom, Proxy/ISA itd. Ništa revolucionarno, ali služi nameni. Ovo o čemu pričate se odnosilo na NT4.

Odgovor na temu

alex
Aleksandar Radulovic
Senior Software Engineer, Spotify
Stockholm, Sweden

Član broj: 71
Poruke: 2194
*.itn.is

Jabber: alex@a13x.info
ICQ: -1
Sajt: www.a13x.info

+1 Profil

Re: Cluster i sta dobijam tim

^{14.08.2002. u 19:24 - pre 268 meseci}

Ali je zato tu Mosix - http://www.mosix.org/

Alex: My favorite site is http://localhost/
R.J. Oppenheimer: "I am become death, destroyer of worlds" (1945 AD)
tweet.13x ||
linkedin.13x

Odgovor na temu

B o j a n
eCTRL
EU

Član broj: 1178
Poruke: 2925
*.verat.net

Jabber: bc@default.co.yu
Sajt: default.co.yu/~bc

+1 Profil

Re: Cluster i sta dobijam tim

^{15.08.2002. u 01:23 - pre 268 meseci}

zdravo clust-drustvo l;)

Mislim da se pojam "cluster" cesto brka sa grupom servera koji se medjusobno rotiraju, sto na nivou dns-a (RR), sto putem nekim madjijaskim mega load balansovanjem ( M$ ).

Sve je to po meni infantilno u poredjenju sa MOSIX projektom.
Licno nisam nikad bio u prilici da testiram MOSIX cluster, ali ako je tacno ono sto pise u whatis.html onda ja ne znam cemu onda pominjati beowulf i slicne multi image clustere.

// SMP like !!!!!!
// User level aplikacija
// On the fly dodavanja, uklanjanja
// Kompatibilan sa non-mosix nodovima
// Inkrementalno popunjavanje nodova, sa naglasenim akcentom
// na izbegavanje upadanja u swap

Da sumiram. Ne gubite vreme i novac na gore pomenute varijante. Ako vec morate cluster, neka to bude MOSIX.
To je po meni prava varijanta.

"It's okay, I'm just admiring to the shape of your skull!" -- Dr. Gonzo

Odgovor na temu

mire
Miroslav Madzarevic
Belgrade

Član broj: 252
Poruke: 145
*.bitsyu.net

Profil

Re: Cluster i sta dobijam tim

^{04.11.2002. u 20:34 - pre 266 meseci}

jel' neko uspeo da namestio apache da radi preko beowolf ili slicnog klastera ?
znaci mislim na pravo klaster resenje, ne na load balancing i sl. stvari.

mire@zwer:~$ traceroute zivot.sloboda.potraga-za-srecom

Odgovor na temu

sallle
Sasa Ninkovic
GTECH
Beograd

Član broj: 146
Poruke: 480
*.rcub.bg.ac.yu

ICQ: 20785904

+4 Profil

Re: Cluster i sta dobijam tim

^{12.11.2002. u 22:35 - pre 265 meseci}

Na etf-u je instaliran neki klaster (10tak masina) pre neki dan (u saradnji sa informatikom i dellom).

Tehnicke detalje ne znam... (znam da je linux instaliran)...

Odgovor na temu

papak

Član broj: 2139
Poruke: 61
*.sbo.ma.webcache.rcn.net

Profil

Re: Cluster i sta dobijam tim

^{13.11.2002. u 03:20 - pre 265 meseci}

Ovako
clusteri se danas koriste za applikacije koje trebaju veliku procesorsku snagu. To sto neko tvrdi da nema softwarea, istina nema, ali koji vrag ti treba cluster za db? Jeftinije je kupiti SMP masinu od Intela pokrenuti neki free-nix i jednostavno rjesenje problema.
Ako hocemo razbiti neku enkripciju ili izracunati neku mapu genoma ili simulirati proces fizije, onda lijepo napravi cluster od sto vise to bolje strojeva, napisi software (i ovako se pise za takve stvari custom software) i onda cluster sluzi svrsi.
Manji clusteri se mogu napraviti u edukativne svrhe, ali prednost clustera dolazi do izrazaja nakon sto se poveze nekoliko desetaka strojeva, natrpa ih se RAM-om i ajde neka racunaju.
Cluster je jeftinije i brze rjesenje za velike proracune. Koliko znam ima clustera od preko 1000 nodeova, a server s najvise procesora u proizvodnji (serijskoj) je s 100-njak CPU-ova. A kada se takve stvari usporedjuju, onda cluster je bolje rjesenje za odredjene stvari, jer trosak po CPU ciklusu je puno nizi na clusteru, nego SMP masini.
A u svakom slucaju software se pise za oba slucaja.
Inace najveci cluster ikada napravljen je seti@home. To je vrlo liberalno nazvati clusterom, ali princip rada je isti.

I da ne zaboravimo SMP masinu s pocetka. Baza nam treba da spremamo podatke koji se izracunavaju, pa je dobro imati neku SMP masinu za primanje rezultata

--br

papak

Odgovor na temu

jeremy
igor jeremic
Beograd

Član broj: 3740
Poruke: 73
*.verat.net

ICQ: 13289333
Sajt: www.jwork.net

Profil

Re: Cluster i sta dobijam tim

^{22.10.2003. u 10:50 - pre 254 meseci}

Emulacija klastera?

Da li je moguce da na jednom racunaru sa jednim procesorom emuliram klaster racunar ( i kako? ), cisto za razvoj MPI programa koji bi se kasnije izvrsavali na pravoj gomili racunara zaista pralelno, znaci brzina pri emulaciji nije bitna stvar jer bih radio primere malih dimenzija.

Pozdrav,
Igor

Igor Jeremic
www.jwork.net

Odgovor na temu

salec

Član broj: 6527
Poruke: 1738
*.rcub.bg.ac.yu

+25 Profil

Re: Cluster i sta dobijam tim

^{22.10.2003. u 11:10 - pre 254 meseci}

fork?

Odgovor na temu

jeremy
igor jeremic
Beograd

Član broj: 3740
Poruke: 73
*.verat.net

ICQ: 13289333
Sajt: www.jwork.net

Profil

Re: Cluster i sta dobijam tim

^{22.10.2003. u 19:39 - pre 254 meseci}

I sta dobijam forkom? vezano za MPI, ja bas zelim da koristim MPI funkcije, bolje od forka je posix threads (pthreads) radi brze i napravljen je za paralelno programiranje, kad imas vise procesora isto ga programiras kao sa jednim.. ali MPI je pravljen za klastere - mogu ga koristiti sa "-np 1" znaci pustiti sve na 1 procesoru, ali ako napisem "mpirun -np 2 program" tada se stvar blokira.. :(

Igor

Igor Jeremic
www.jwork.net

Odgovor na temu

littleboy
/home/sasa

Član broj: 14387
Poruke: 514
*.wireless.blic.net

ICQ: 46124351
Sajt: littleboy.geek.rs.ba

Profil

Re: Cluster i sta dobijam tim

^{22.10.2003. u 21:20 - pre 254 meseci}

Citat:

sallle:

Na etf-u je instaliran neki klaster (10tak masina) pre neki dan (u saradnji sa informatikom i dellom).

Tehnicke detalje ne znam... (znam da je linux instaliran)...

Koliko sam cuo, to nije klaster vec je web farma, ali nisam siguran, uglavnom znam da je pricano kao klaster na etfu, a na kraju ispalo da je web farma ...

\x47 \x6f \x64 \x20 \x6d \x61 \x64 \x65 \x20 \x70 \x6f \x74 \x2e \x20 \x4d
\x61 \x6e \x20 \x6d \x61 \x64 \x65 \x20 \x62 \x65
\x65 \x72 \x2e \x20 \x57 \x68 \x6f \x20 \x64 \x6f \x20 \x79 \x6f \x75 \x20
\x74 \x72 \x75 \x73 \x74 \x20 \x3f

Odgovor na temu

neetzach
LDAP specialist, Qindel
Iberija

Član broj: 4825
Poruke: 616
*.eunet.yu

Sajt: www.udarnik.net

+4 Profil

Re: Cluster i sta dobijam tim

^{23.10.2003. u 11:13 - pre 254 meseci}

Citat:

jeremy:

Da li je moguce da na jednom racunaru sa jednim procesorom emuliram klaster racunar ( i kako? ), cisto za razvoj MPI programa koji bi se kasnije izvrsavali na pravoj gomili racunara zaista pralelno, znaci brzina pri emulaciji nije bitna stvar jer bih radio primere malih dimenzija.

Tebi bi onda dobro dosla neka virtuelna masina, kao recimo VMware ili nesto slicno. Podignes jos jednu (ili dve, i vise?) instanci i instaliras OS pod njima. Cak i ne moras ceo OS da instaliras nego galvnu masinu podesis da radi kao boot server, a "nodove" namestis da se bootuju kao diskless klijenti sa zajednickim root-om. Uostalom ima kombinacija koliko hoces...

What I hear, I forget. What I see, I remember. What I do, I understand. What I screw up, I
master.

Odgovor na temu

jeremy
igor jeremic
Beograd

Član broj: 3740
Poruke: 73
*.verat.net

ICQ: 13289333
Sajt: www.jwork.net

Profil

Re: Cluster i sta dobijam tim

^{23.10.2003. u 11:33 - pre 254 meseci}

Pa sad, mislim da je emulacija cele masine nepotrebna, ne treba mi disk, ne treba mi memorija samo mi treba deljenje procesora, a VMWare trazi dosta resursa za virtualnu masinu, pogotovu ako hocu da podignem 5 VM-a :(.. mislio sam da neko ima iskustvo bas sa MPI-em na jednoprocesorskoj single masini pa sam zato pitao :(((

Igor Jeremic
www.jwork.net

Odgovor na temu

neetzach
LDAP specialist, Qindel
Iberija

Član broj: 4825
Poruke: 616
*.eunet.yu

Sajt: www.udarnik.net

+4 Profil

Re: Cluster i sta dobijam tim

^{23.10.2003. u 11:41 - pre 254 meseci}

Pojam "cluster" je veoma sirok, imas HPC (High Performance Computing) clustere, Load Balancing clustere, High Availability clustere i sl. Sve zavisi od primene. Beowulf cluster ima specificnu primenu i uglavnom se svodi na matematicke modele (moze i rendering tamo gde to software podrzava - recimo PVM Povray). HA i LB clusteri se koriste za servise koje treba rasteretiti ili omoguciti redundantnost...

Citat:

B o j a n:

Mislim da se pojam "cluster" cesto brka sa grupom servera koji se medjusobno rotiraju, sto na nivou dns-a (RR), sto putem nekim madjijaskim mega load balansovanjem ( M$ ).

Sve je to po meni infantilno u poredjenju sa MOSIX projektom.
Licno nisam nikad bio u prilici da testiram MOSIX cluster, ali ako je tacno ono sto pise u whatis.html onda ja ne znam cemu onda pominjati beowulf i slicne multi image clustere.

// SMP like !!!!!!
// User level aplikacija
// On the fly dodavanja, uklanjanja
// Kompatibilan sa non-mosix nodovima
// Inkrementalno popunjavanje nodova, sa naglasenim akcentom
// na izbegavanje upadanja u swap

Da sumiram. Ne gubite vreme i novac na gore pomenute varijante. Ako vec morate cluster, neka to bude MOSIX.
To je po meni prava varijanta.

Prava varijanta je ono sto vise odgovara primeni ;)

What I hear, I forget. What I see, I remember. What I do, I understand. What I screw up, I
master.

Odgovor na temu

neetzach
LDAP specialist, Qindel
Iberija

Član broj: 4825
Poruke: 616
*.eunet.yu

Sajt: www.udarnik.net

+4 Profil

Re: Cluster i sta dobijam tim

^{23.10.2003. u 11:42 - pre 254 meseci}

Citat:

jeremy:
Pa sad, mislim da je emulacija cele masine nepotrebna, ne treba mi disk, ne treba mi memorija samo mi treba deljenje procesora, a VMWare trazi dosta resursa za virtualnu masinu, pogotovu ako hocu da podignem 5 VM-a :(.. mislio sam da neko ima iskustvo bas sa MPI-em na jednoprocesorskoj single masini pa sam zato pitao :(((

Hm, to onda malo teze... Mozes da probas i bochs koji ce da emulira SMP masinu, ali to ti se svodi na isto sto i VMware samo manje od 5 instanci :))

What I hear, I forget. What I see, I remember. What I do, I understand. What I screw up, I
master.

Odgovor na temu

jeremy
igor jeremic
Beograd

Član broj: 3740
Poruke: 73
*.beotel.net

ICQ: 13289333
Sajt: www.jwork.net

Profil

Re: Cluster i sta dobijam tim

^{23.10.2003. u 19:15 - pre 254 meseci}

Znam sada kako se ovo radi, ustvari nema sta da se radi, node-ovi se emuliraju procesima, potrebno je samo da se izabere protokol, za komunikaciju. default je ssh

potrebno je pozvati program sa 'mpirun -np <broj node-ova> -machinefile file program' gde je file (fajl u kome su specifikovane masine) a program program koji treba pokrenuti..

jedino je problem sto ako dignem npr 5 node-ova trazice mi 5 puta da kucam sifru na svom account-u, da li i kako to moze da se sredi preko nekog .rc fajla?

Pozdrav,
Igor

Igor Jeremic
www.jwork.net

Odgovor na temu

[es] :: Windows mreže :: Cluster i sta dobijam tim
(TOP topic, by Aleksandar Marković)
Strane: 1 2

[ Pregleda: 30980 | Odgovora: 21 ] > FB > Twit

Srodne teme

25.06.2001. mount vfat neradi
07.01.2002. Dobijam tackice ...
30.06.2002. RPM
02.04.2004. Problem sa rezanjem diskova u XP-u
22.02.2004. D3DXMatrixAffineTransformation?
25.03.2004. Detaljno objašnjenje za ISDN (2B + D)
26.02.2008. Sta nevalja u ovom SQL-u?
11.01.2006. firmware za Xwave

Navigacija

Lista poslednjih: 16, 32, 64, 128 poruka.