Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Clustering resesnja na Centos/Fedora

[es] :: Linux/UNIX serveri i servisi :: Clustering resesnja na Centos/Fedora

Strane: 1 2

[ Pregleda: 4945 | Odgovora: 20 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

Salgeras
Salgeras

Član broj: 21155
Poruke: 180
*.rcub.bg.ac.rs.



Profil

icon Clustering resesnja na Centos/Fedora02.12.2010. u 14:18 - pre 162 meseci
Pozdrav svima!!

Hteo bih da vas zamolim za pomoc i savete u izboru clustering resenje na Centos 5.5 ili Fedora 14 distroima. Ovo je scenario: imamo 2 servera, svaki od njih ima po 5 hard diskova u raid 5, ukupno po serveru ~360gb. Ono sto zelimo jeste da grupisemo njihov storage, tako da se vide kao celina od ~720gb.

E sad, isprobavali smo nekoliko postojecih clustering resenja, ali smo uglavnom zavrsili u corsokaku :) Prvo smo se igrali sa GlusterFS-om, ali smo ga vrlo brzo batalili s obzirom da isti, zahvaljujuci fuse-tu, ne podrzava xattr i selinux. Glusterfs radi, ali sa iskljucenim selinuxom, a mi ne bismo tako :) Mozda se nesto u medjuvremenu promenilo, ali se nismo vise vracali na njega. Zatim smo presli na RHCS, ali nismo mogli da dignemo GFS. Nesto cackali i sa CLVM, ali jok. Na kraju smo probali i sa iscsi i openfiler-om, ali resenje koje oni predlazu nije to sto nama treba. Oni prave treci node, koji exportuje device i koji mountuju serveri, ali nije to to sto nama treba.

E sad, ono sto nama treba jeste nekakav distribuirani storage koji radi sa selinuxom. Treba nam resenje koje moze da spoji storage 2 masine u jednu celinu, da bismo posle nad tim podigli potrebne servise.

Da li imate neku ideju kako bi to moglo da se realizuje? Ako trebaju jos neke informacije, slobodno trazite :)

Pozdrav i hvala unapred!!
Registered Linux User #460193
 
Odgovor na temu

Tyler Durden
Tyler Durden
Beograd

Član broj: 4312
Poruke: 3379
*.verat.net.



+1365 Profil

icon Re: Clustering resesnja na Centos/Fedora02.12.2010. u 14:29 - pre 162 meseci
Jeste gledali Lustre?
Ono sto ja ne bih preporucio jeste GFS. Iskren da budem, ne znam kakva je verzija 2 (trebalo bi da bude bolja, jelte) ali performanse GFS su poprilicno lose.

Sto je selinux toliki must? Jer ono malo sto sam probao glusterfs mi je izgledalo jako dobro.
Beneath civilization's fragile crust, cold chaos churns...
 
Odgovor na temu

Salgeras
Salgeras

Član broj: 21155
Poruke: 180
*.rcub.bg.ac.rs.



Profil

icon Re: Clustering resesnja na Centos/Fedora02.12.2010. u 15:29 - pre 162 meseci
E, hvala ti, pogledacu lustre.

Izvini, i mislio sam na GFS2, zaboravih to da napomenem. Svasta smo nesto probali, pa se ne secam tacno sta se desavalo. Znam da nisam uspeo da napravim logical volume, iz nekog razloga nodovi nisu uspevali da se vide kroz CLVM.

A selinux je bas must, shef nam ne moze bez njega. Lako bih ja kad bismo mogli da ga ubijemo :)
Registered Linux User #460193
 
Odgovor na temu

Schmidt
RHCE

Član broj: 80784
Poruke: 647
*.blic.net.



+10 Profil

icon Re: Clustering resesnja na Centos/Fedora08.12.2010. u 12:54 - pre 161 meseci
Podigao sam mail cluster na GFS2 i na kraju odustao jer je bio spor do neupotrebljivosti...
 
Odgovor na temu

Tyler Durden
Tyler Durden
Beograd

Član broj: 4312
Poruke: 3379
*.verat.net.



+1365 Profil

icon Re: Clustering resesnja na Centos/Fedora08.12.2010. u 14:34 - pre 161 meseci
I GFS2? To je stvarno razocaravajuce...
Beneath civilization's fragile crust, cold chaos churns...
 
Odgovor na temu

Salgeras
Salgeras

Član broj: 21155
Poruke: 180
*.dynamic.sbb.rs.



Profil

icon Re: Clustering resesnja na Centos/Fedora09.12.2010. u 08:18 - pre 161 meseci
Da, stvarno je razocaravajuce ako je situacija takva, dosta sam pozitivnih stvari cuo/procitao o gfs2.

@Tyler,
jesi li imao prilike da radis sa ovom Lustre-om? Kakvi su ti utisci? Prosao sam dokumentaciju, deluje sasvim ok, probacu cim nahvatam neke 2 masine.

Mi se trenutno igramo sa GlusterFS. Izasla nova i dosta izmenjena verzija, moze da se zaobidje fuse, izgleda da cemo ipak uspeti nesto da namuljamo sa njim :) Javljam utiske..
Registered Linux User #460193
 
Odgovor na temu

Tyler Durden
Tyler Durden
Beograd

Član broj: 4312
Poruke: 3379
*.verat.net.



+1365 Profil

icon Re: Clustering resesnja na Centos/Fedora09.12.2010. u 10:24 - pre 161 meseci
Nisam nažalost, ali stekao sam utisak da je čitav sistem malo bloated, i čini mi se da je overkill u slučaju manjih instalacija i sistema (do ~10 mašina).
Plus, ja nekako najviše volim stvari koje su u mainline kernelu, a ne da moraš da patchuješ kernel sa nekim njihovim dodatcima.
Beneath civilization's fragile crust, cold chaos churns...
 
Odgovor na temu

Schmidt
RHCE

Član broj: 80784
Poruke: 647
*.broadband.blic.net.



+10 Profil

icon Re: Clustering resesnja na Centos/Fedora09.12.2010. u 21:33 - pre 161 meseci
Primjera radi, na GFS2 cluster-u sa dva node-a ls -la na direktorijum u kojem je bilo oko 10k fajlova trajao je 4 minute!!! Dakle, za mail server GFS2 se pokazao kao totalno neupotrebljiv, dok recimo za bazu podataka itekako moze da posluzi jer je citanje i pisanje fajlova bilo skoro isto brzo kao na ext3.

Cluster je bio na HP Blade-u/VMWare sa optickim multipath pristupom do HP Storage-a.
 
Odgovor na temu

Machiavelli...
Đorđe Đokanović
IT Support Engineer II
www.amazon.com
Philadelphia

Član broj: 90589
Poruke: 672
*.hsd1.pa.comcast.net.

Sajt: www.linkedin.com/in/dorde..


+92 Profil

icon Re: Clustering resesnja na Centos/Fedora10.12.2010. u 04:41 - pre 161 meseci
Koje masine imate za servere?

Citat:
Zatim smo presli na RHCS, ali nismo mogli da dignemo GFS


RHCS je integralno resenje, enterprise ready, ja bi reko da to treba da radi ko sat. Sta je bio problem sa GFS?

Having an idea is like being in a nutshell, but exchanging idea and collaborate
with
others is like being in infinite ocean of knowledge.
________________________________________________________________
____

Veruj u sebe. Ako ti neces, ko hoce?!

„Bolje živeti 100 godina kao milioner, nego sedam dana u bedi.“
 
Odgovor na temu

Salgeras
Salgeras

Član broj: 21155
Poruke: 180
*.dynamic.sbb.rs.



Profil

icon Re: Clustering resesnja na Centos/Fedora16.12.2010. u 09:38 - pre 161 meseci
U medjuvremenu smo probali novi GlusterFS. Dosta su ga izmenili, pojednostavili su konfiguraciju i, sto je (barem nama) dosta vazno, integrisali su nfs i uspeli da zaobidju fuse. Podigli smo glusterfs izmedju 2 test masine, sve radi odlicno, jedino je problem sto nije moguce menjati selinux contexte tek tako. Posto nam selinux bas treba, morali smo da odustanemo od glustera. Ali, eto, kome selinux nije neophodan, cini mi se da je glusterfs sasvim fino resenje :)

Citat:
Machiavelli...: Koje masine imate za servere?
RHCS je integralno resenje, enterprise ready, ja bi reko da to treba da radi ko sat. Sta je bio problem sa GFS?


Imamo IBM x226 i x236, ali sva testiranja radimo na radnim stanicama, IBM Thinkcentre A50. Ako se dobro secam, problem sa gfs je bio taj sto nismo mogli da napravimo logical volume unutar lvm-a. Radili smo po ovome:
http://www.linuxdynasty.org/howto-setup-gfs2-with-clustering.html

Vise se ne secam tacno greske, ali je znacenje bilo da se nodovi nisu videli izmedju sebe. Probao sam nekoliko resenja koja su ljudi predlagali, ali nije pomoglo. Priznajem da GFS nismo stigli da istrazimo do kraja, stigao je predlog da probamo nesto drugo, pa je ostalo tako "na pola". RHCS jeste enterprise resenje i verujem da treba da radi bez problema, ali mi bismo da izbegnemo postojanje dodatnog noda (za fensing, i sta jos ono bese..). Ograniceni smo hardverski, plus je zahtev da ucestvuju samo 2 masine (ona 2 ibm servera). Mozda nesto sa virtuelnim masinama, al ne znam kako bi radilo..

U sustini, ovo sto mi pokusavamo da nasrafimo jeste neko shatro cluster okruzenje, tj treba nam distribuirani fajl sistem. Naisli smo na nekoliko resenja, a vidim da dosta hvale AFS (tj, OpenAFS) i CODA.

Znate li nesto o njima?

pozdrav
Registered Linux User #460193
 
Odgovor na temu

tuxtard
Beograd

Član broj: 275257
Poruke: 2
*.dynamic.sbb.rs.



Profil

icon Re: Clustering resesnja na Centos/Fedora16.12.2010. u 11:46 - pre 161 meseci
RHCS je možda cool rešenje za RHEL i CENTOS distribucije, dok na Fedori već neko vreme unazad stalno postoje neki problemi u radu sa njime. Recimo sada u FC14 web interfejs Luci za konfigurisanje cluster.conf fajla jednostavno ne radi. Takođe i ako je uključen selinux pri podizanju sistema svi nodovi se spucaju na joining fencing domain. Ok, uspeli smo nekako da konfigurišemo cluster.conf, što ručno što preko lucija koji i dalje radi na FC13, ali pošto iz nekog jako čudnog razloga na sistemu mora da radi selinux, ne možemo nikako da zaobiđemo problem sa spucavanjem nodova. Takođe i RHCS zahteva postojanje nekog network storage devicea ili barem postojanje trećeg noda koji će da izigrava network storage preko iSCSI-ja. Ovo nama ne znači ništa pošto nam treba rešenje sa 2 noda i fajl sistem koji može da radi u distribuiranom režimu ili distribuiranom režimu sa replikacijom. GlusterFS nam ispunjava sve te uslove, problem je samo što SELinux blokira xattr nad Fuse fajl sistemima u Fedorama, a GlusterFS koristi Fuse. Doduše u Centosu 5.5 još uvek radi kako treba GlusterFS sa uključenim SELinuxom, ali pitanje je da li će tako ostati i u Centosu 6 kada izađe, ili će ovaj novi SELinux sići u RHEL 6 i Centos 6 i zeznuti stvar sa Fuseom kao i u Fedori.

Zbog ovih gore navedenih problema odlučili smo da probamo još i sledeće fajl sisteme: OpenAFS, Coda, Lustre. Svaka informacija i pomoć oko njih je dobro došla, a sve rezultate testiranja ćemo postaviti ovde :)
 
Odgovor na temu

tuxtard
Beograd

Član broj: 275257
Poruke: 2
*.dynamic.sbb.rs.



Profil

icon Re: Clustering resesnja na Centos/Fedora20.12.2010. u 11:18 - pre 161 meseci
Ok probali smo i GlusterFS na RHEL 6tici. Naravno i na 6tici SELinux blokira Fuse, tako da GlusterFS otpada xD
 
Odgovor na temu

Schmidt
RHCE

Član broj: 80784
Poruke: 647
*.blic.net.



+10 Profil

icon Re: Clustering resesnja na Centos/Fedora20.12.2010. u 15:22 - pre 161 meseci
Ako sve radi kako treba, ali nema polise, generisite ih sami pomocu audit2allow. Ako sam dobro shvatio u cemu je problem...
 
Odgovor na temu

cveticmilan
System administrator
Beograd

Član broj: 105312
Poruke: 161
*.nb.rs.

Sajt: www.nb.rs


+8 Profil

icon Re: Clustering resesnja na Centos/Fedora18.02.2011. u 14:31 - pre 159 meseci
Samo da dodam, GFS2 katastrofa. Nema sta nisam probao i radio i mogu reci samo da je otuzan. Ne znam sto ne poslusah ljude nego izgubi mesece budzenja. Toliko.
 
Odgovor na temu

Machiavelli...
Đorđe Đokanović
IT Support Engineer II
www.amazon.com
Philadelphia

Član broj: 90589
Poruke: 672
*.hsd1.pa.comcast.net.

Sajt: www.linkedin.com/in/dorde..


+92 Profil

icon Re: Clustering resesnja na Centos/Fedora04.03.2011. u 15:46 - pre 159 meseci
probajte heartbeat. Ako vec imate samo dve masine. Izuzetno je lak za podesavanje, e sad kakve su performanse sa velikim bazama - ebem li ga.
Having an idea is like being in a nutshell, but exchanging idea and collaborate
with
others is like being in infinite ocean of knowledge.
________________________________________________________________
____

Veruj u sebe. Ako ti neces, ko hoce?!

„Bolje živeti 100 godina kao milioner, nego sedam dana u bedi.“
 
Odgovor na temu

Stator
System Administrator
Beograd

Član broj: 14552
Poruke: 257
95.180.64.*



+3 Profil

icon Re: Clustering resesnja na Centos/Fedora24.03.2011. u 22:16 - pre 158 meseci
Citat:
Schmidt: Primjera radi, na GFS2 cluster-u sa dva node-a ls -la na direktorijum u kojem je bilo oko 10k fajlova trajao je 4 minute!!! Dakle, za mail server GFS2 se pokazao kao totalno neupotrebljiv, dok recimo za bazu podataka itekako moze da posluzi jer je citanje i pisanje fajlova bilo skoro isto brzo kao na ext3.

Cluster je bio na HP Blade-u/VMWare sa optickim multipath pristupom do HP Storage-a.


Moram da ti skrenem paznju da ovo nije do samog GFS2 nego do loseg podesavanja istog. Ti ga verovatno nisi tjunovao, a GFS2 nije user frendly i ne radi out-of-the-box. Potrebno je odredjeno znanje da ga napakujes kako treba.
 
Odgovor na temu

Tyler Durden
Tyler Durden
Beograd

Član broj: 4312
Poruke: 3379
*.verat.net.



+1365 Profil

icon Re: Clustering resesnja na Centos/Fedora25.03.2011. u 08:54 - pre 158 meseci
Pa gdje moze da se pogledaju ti tutorijali i uputstva za tjuniranje?
Beneath civilization's fragile crust, cold chaos churns...
 
Odgovor na temu

Stator
System Administrator
Beograd

Član broj: 14552
Poruke: 257
217.26.76.*



+3 Profil

icon Re: Clustering resesnja na Centos/Fedora25.03.2011. u 14:20 - pre 158 meseci
man gfs2_tools :)

Zavisi za sta ti treba i koji problem trebas da debagujes.

Npr ovaj post na koji sam odgovorio se resava na sledeci nacin.


konkretno u RHEL-u "by default" system je konfigurisan da koristi aliases u /etc/profile.d/colorls.sh i colorls.csh:

# alias | grep 'ls'
alias l.='ls -d .* --color=tty'
alias ll='ls -l --color=tty'
alias ls='ls --color=tty'

Ovo je (veliki) problem za GFS* (--color). da ne objasnjavam zasto.. u svakom slucaju ovo se resava tako sto se upise u /etc/profile:


alias ll='ls -l' 2>/dev/null
alias l.='ls -d .*' 2>/dev/null
unalias ls

I to je to. GFS* vise nije spor za ls komandu.

EDIT: e da knjige. Definitivno treba krenuti odavde:

http://docs.redhat.com/docs/en...lobal_File_System_2/index.html
ovo je malo bajato ali moze da posluzi http://sourceware.org/cluster/wiki/FAQ/GFS#gfs_tuning

Must read stivo za debugging http://kernel.org/doc/ols/2009/ols2009-pages-311-318.pdf

za sve ostalo https://www.redhat.com/courses...tering_and_storage_management/ (mada se ovde obradjuje samo GFS1)


[Ovu poruku je menjao Stator dana 25.03.2011. u 15:41 GMT+1]
 
Odgovor na temu

Schmidt
RHCE

Član broj: 80784
Poruke: 647
*.blic.net.



+10 Profil

icon Re: Clustering resesnja na Centos/Fedora29.03.2011. u 10:44 - pre 158 meseci
Citat:
Stator: Moram da ti skrenem paznju da ovo nije do samog GFS2 nego do loseg podesavanja istog. Ti ga verovatno nisi tjunovao, a GFS2 nije user frendly i ne radi out-of-the-box. Potrebno je odredjeno znanje da ga napakujes kako treba.


Tjunovan je, radjeno je sve sto je redhat naveo u dokumentaciji u vise kombinacija, nije pomoglo, izmedju ostalog file stat je bio uzasno spor, koji je jako bitan za Maildir.
 
Odgovor na temu

Stator
System Administrator
Beograd

Član broj: 14552
Poruke: 257
217.26.76.*



+3 Profil

icon Re: Clustering resesnja na Centos/Fedora29.03.2011. u 10:54 - pre 158 meseci
To menja stvari, GFS2 je daleko od idealnog resenja za mail server.
 
Odgovor na temu

[es] :: Linux/UNIX serveri i servisi :: Clustering resesnja na Centos/Fedora

Strane: 1 2

[ Pregleda: 4945 | Odgovora: 20 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.