ZFS za MySQl database server

Da li je moguce koristiti ZFS na sistemu od 25 servera gdje bi se isti sa 10GbE uvezali u jedan sistem na kojem bi bila MySQL baza planiranog kapaciteta 115TB. Ovo rjesenje suprotstavljam Fibre channel SAN-u slicnog kapaciteta. Pod kojim uslovima bih dobio Solaris i ZFS besplatno? (naravno sa volume managerom)
Sta mislite o istom rjesenju ali sa Linuxom i XFS/CXFS?

Da napomenem da ce u startu biti 8 servera dok ce ostali biti dodavani kako sistem bude rastao u sljedecih 5 godina (a procjena je da ce ici do 115TB do kraja tog perioda).

Volume Manager je sastavni deo Solarisa, koji je besplatan (i open source). Tako da sve sto ti treba dobijas besplatno.


http://opensolaris.org/os/community/volume_manager/
http://opensolaris.org/os/community/zfs/
http://opensolaris.org/os/

Potpis

Pop Servis "Paradise Tours"
Java User Group Karlsruhe
IT Dan - Srbija

Officer, I saw the driver who hit me - his name was Johnny Walker.

Mijesas openSolaris i Solaris - ne razumijem da li ovaj openSolaris uopce ima finalnu verziju jer sve sto vidim je mnogo linkova namijenjenih developerima? U cemu je stvarna razlika u pogledu mogucnosti izmedju ove dvije verzije Solarisa - mislim ne bi dzaba postojale 2 verzije da je sve tako jeftino, i niko ne bi kupovao Solaris... Da li ima ikakve razlike izmedju ZFS dostupnog na komercijalnom Solarisu i ovog na openSolarisu u pogledu pouzdanosti i mogucnosti?

Koliko ja znam, OpenSolaris je za Solaris nešto kao što je Fedora za Red Hat.
Ali, Solaris je takođe besplatan i možeš da ga skineš sa njihovog sajta.

Potpis

Beneath civilization's fragile crust, cold chaos churns...

Solaris besplatan?
Znam za ovaj Solaris Express Edition i Solaris Express developer edition za akademske ustanove ali sta je sa business primjenom?
Hajde ljudi nije valjda da sad niko na Balkanu ne koristi Solaris - pa kolko znam to je najpopularnii UNIX na ovim prostorima (osim par banaka koje su na AIXu i AS400).

Ja sam ti to vec rekao, ali ti ocigledno neces da shvatis... Paz' Vamo. Solaris 10 download. Besplatno. Ne Express, ne OpenSolaris, vec Solaris. Dovoljno jasno? :) Kao sto sam ti vec rekao, bilo bi zgodno da platis podrsku, da bi imao pristup svim update-ima, to je $324 godisnje za do dva CPU Socketa (nevezano za broj Core-ova).

Sto se tice tvog konkretnog pitanja, ja mislim da ti i dalje ne kapiras do krajja kako raddi SAN i zasto ti, ako hoces da imas vise od jednog servera koji koriste isti SAN Array treba Volume Manager. Bilo bi dobro i da objasnis da li zelis da ti serveri budu u klasteru ili ne, i kakvom :). Cluster File System nad nekim SAN-om je jako fina i jako skupa stvar. Znaci, kako ces imati 25 servera, gde ce stojati podaci, kako ces ih povezati... ? :)

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

pozdav Nikola

Sunova stranica mi je totalno konfuzna (valjda sto sam navikao na Microsoft/Dell/HP) i zato nisam ni skontao kako to sve kod njih ide. Sto se tice podrske, to definitivno ubacujem jer su shefovi promjenili zahtjev po pitanju uptimea pa sad sistem vise nije "eto nek radi za radno vrijeme" neg "bi trebalo da stalno radi jer..." ali ipak smo se slozili da ipak ne treba ici u krajnost pa trositi novac za mission critical (99,99% uptime). Medjutim problem je bas u broju CPUova... a opet je sve to vezano za samo rjesenje... dal vise servera ili jedan... kako i sam vidis mnogo je parametara koji uticu na cijenu a i vise opcija implementacije.

sto se tice volume managera, koristio sam ga nekoliko puta (samo LVM), ali ni blizu za nesto ovakvo... Cluster sam radio jedan za batch obradu (50ak procesora na ROCKS/SGE) i jedan manji 12 procesorski OpenMOsix za jedan projketni biro... Dakle sve High Performance clusteri... Od HA, samo heartbeat@linux za jedan ISP ako se to moze nazvati clusterom...

Eh izgleda da si u pravu - fali mi malo znanja oko SANova, implementacije i primjene - ma ucilo se o tome debelo na nekoliko seminara na faksu ali daaaavno je to bilo pa se naravno isparilo iz glave a i tehnologija otisla naprijed... a kako se nisam previse time bavio izgleda da nisam ni skonto da sam tanak s tim znanjem... Dakle svaki savjet je dobrodosao, ali i kakav prirucnik za iste - bilo za koristenje SAN array implementacije (alone ili cluster) bilo grupa server nodeova (valjda samo kao cluster?).

Dakle ono sto znam o SAN-u je ukratko otprilike ovako: imas nekolko arraya sa po 10ak (uglavnom hot plug) diskova povezanih na neki FC switch (najcesce na 2 switcha redundantno zbog failovera) ili na SCSI backplane pa onda na neki front end server. Tu koristis volumene za rasporedjivanje i kontrolu prostora, prosirivanje, mirroring, disk management etc. Otprilike to je ono sto znam a imao sam malo iskustva sa jednim IBM sistemom koji je imao 3 arraya (tada negdje oko 2TB ukupno ako se dobro sjecam) koji je bio namijenjen file sharingu i koji se sastojao od dualXeon front enda na koji su arrayi prikaceni preko SCSI backplanea. Dakle nemam bas previse iskustva sa data storageom, i izgleda da cu morati dublje zaorati a nemam bas mnogo vremena :(
Cluster - HP naravno ako ce se koristiti vise servera sa vlastitim storageom (VM bi se koristio za mirror/HA) - ocigledno povecanje performansi... U slucaju SAN disk array, mislim da je bolje rjesenje uzeti kakav blade za front end. Podaci bi stajali rasporedjeni na svih 25 servera, koji ce se tokom vremena dodavati u sistem jer nam u pocetku ne treba svih 25 :)

To je otprilike to.

OK, deo koji ja ne razumem :

- Podaci stoje na 25 servera, ili na array-u? Ako imas array zasto ce ti cak 25 servera?
- Ako su podaci na odvojenim serverima, kapiras li da onda imas 25 odvojenih instanci baze? Ili zelis resenje da sve to bude jedna velika baza? Ako je to - onda se vracas na to da ti treba array - pa ti 25 servera sluzi samo za CPU (ako ti treba toliko).

Jedino resenje za cluster koji deli disk space sa nodova je Global File System, ili mozda Lustre, ali onda trebas da osposobis bazu da radi nad takvim resenjem, a to je tek igranka bez prestanka, posto mislim da ti to nijedna baza ne podrzava zvanicno.

Moj savet: ili se odluci za array, drzi podatke na njemu, a server dodaj samo za CPU obradu, ili drzi podatke distribuirano u 25 odvojenih instanci baze, a smori programere da odrade neki load-balancing izmedju tih baza na niovu tog softvera koji razvijate. Stavite neki front-end ispred toga, koji ce da zna sta je u kojoj bazi....

Za OS bi ja birao ili RH EL, ili Solaris, sa podrskom naravno oba.... Ali bolje da vidis i sa svojim developerima.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

>>>>- Podaci stoje na 25 servera, ili na array-u? Ako imas array zasto ce ti cak 25 servera?

To su dvije opcije koje razmatram - a koju cu odabrati zavisi od vise parametara a glavni je cijena. Dakle jedno rjesenje je sa SANom a drugo sa 25 masina koje bi poslo od nekoliko masina na pocetku a ostale bi bile dodavane kako sistem raste.

>>>>- Ako su podaci na odvojenim serverima, kapiras li da onda imas 25 odvojenih instanci baze? Ili zelis resenje da sve to bude jedna velika baza? Ako je to - onda se vracas na to da ti >>>>treba array - pa ti 25 servera sluzi samo za CPU (ako ti treba toliko).

25 instanci - da, to je jedno rjesenje, al je pitanje da li MySQL (posto ce se on koristiti) omogucava povezivanje tih instanci u jedinstven sistem? Drugo rjesenje je cluster...

>>>>Jedino resenje za cluster koji deli disk space sa nodova je Global File System, ili mozda Lustre, ali onda trebas da osposobis bazu da radi nad takvim resenjem, a to je tek igranka >>>>bez prestanka, posto mislim da ti to nijedna baza ne podrzava zvanicno.

koliko znam MySQL moze da radi na clusteru? Sta je sa CXFS-om i ZFS-om po ovom pitanju?

>>>>Moj savet: ili se odluci za array, drzi podatke na njemu, a server dodaj samo za CPU obradu, ili drzi podatke distribuirano u 25 odvojenih instanci baze, a smori programere da odrade >>>>neki load-balancing izmedju tih baza na niovu tog softvera koji razvijate. Stavite neki front-end ispred toga, koji ce da zna sta je u kojoj bazi....

naravno, samo trebam odrediti TCO od svega toga, pa sta ispane - licno bih najradije SAN zbog jednostavnosti i pouzdanosti, da se ne mislim gdje sta steka sto li ovo ili ono, ali kako rekoh, cijena je presudna pa biramo ono sto bude jeftinije u konacnici.

>>>>Za OS bi ja birao ili RH EL, ili Solaris, sa podrskom naravno oba.... Ali bolje da vidis i sa svojim developerima.

sta cemo odabrati velikim dijelom zavisi i od ovog "hardverskog" dijela, iako bih najradije Solaris...

Ako imas array, onda mozes sve drzati na jamo malom broju servera, cak i. na jednom. Cluster bi dizao za povecanje procesorske moci, ali ne znam kako to mysql cluster radi....

Takodje, koliko vidim, mysql cluster zapravo nudi i to sto ti hoces, da spojis 2n+1 racunar u n*prostor_na_disku bazu.... Ali za to ti ne treba cluster fajl sistem, to se radi na nivou mysql-a. Nisam koristio mysql cluster, ne znam zapravo kako to radi... :/

Za FS, ja bi zaboravio CXFS - to na plain vanilla kernelu bas i ne radi. ZFS je OK, ali nije Cluster FS, za to sluze QFS (kako se vec zove to Sun-ovo resenje), ili Lustre, kad ga Sun portuje na Solaris. Generalno, za MySQL cluster ti nije bitno koji je OS ispod (koliko ja kapiram), niti ti treba neki poseban FS. Radio bi ti i UFS/ext3 bez problema....

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'