Podešavanje MySQL 5.5 u produkciji

da li ste probali da testirate (ili da li neko od klijenata ima takvu konfiguraciju) sa vm ciji db disk je fizički RDM?

Potpis

http://vmwaredepot.blogspot.com

Kad vec svi merite, ja cu objaviti, ako dobijem dopustenje, neka merenja koja ja planiram da radim ovih dana... 2x 4-Core Xeon, 8GB RAM, 4xSAS 15krpm RAID 10. Planiram da testiram ext4 (sad se koristi), xfs (ja bi ovo), i zfs (ovo me kopka, na solarisu doduse...). Prvo sto me kopka je: Solaris 11 + ZFS + online kompresija. CPU vremena ima, ocekujem da bude brze jer se manje cita sa diska - ali pitanje je koliko.

Druga tema, koja me eventualno zanima - RAID 10, ili 2x RAID 1, pa na jedan array data, a na drugi indexi? Cini mi se da je ovo drugo gubljenje vremena, jer je baza fino indexirana, nema puno joinova, vecina upita je nad jednom jedinom tabelom, a i sve sto se pita je indexirano, pa nema neke potrebe za drljanjem data fajlova - pa mi se cini da je bolje da sve bude na istom array-u, koji je duplo brzi.

Da, uglavnom su MyISAM tabele u pitanju, mada planiram da neke tabele, probno, prebacim i na InnoDB, da uporedim razlike u performansama.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Na mom "drugom" blogu nevezanom za mysql ( http://elco.crsndoo.com/ ) imas sa desne strane moj amazon bookmarks (ne znam kako drugacije da ga linkujem), tu se nalaze sve knjige koje ja preporucujem.



Ako mislis na raw device mapping, tj da je disk na virtualnoj mapiran fizicki disk sa hosta - malo je takvih sistema - i na tim sistema jeste bilo koruptovanih podataka, doduse ja nisam pravio testove sa mapiranim diskovima zato sto minimalni procenat klijenata koji idu na virtualna resenja ima mogucnost za mapiranje fizickog diska, mapiranje fizickog diska uglavnom mozes samo na svom hw-u, a ako vec imas svoj hw onda si u glavnom dovoljno pametan da ga kupis tako da imas dedicated bare metal masinu za DB, hw je dovoljno jeftin danas da si to mozes priustiti .. kod device mappinga esx(i) ne radi uopste nikakvo kesiranje ali kao sto rekoh, ima problem sa write cache-om samo hw-a posto ne ume (tj bar nije umeo do pre par meseci, nisam proveravao od septembra) da ispostuje hw cache flush sa vm masine .. tu se moguci problem svodi samo na nestajanje podataka sa kesa kontrolera i kesa samog diska (sto je danas 16 ili 32 megabajta, sto uopste nije malo, posebno ako se tu nalazi metadata neke bitne tabele)

da zakljucim za mapirani disk - problem je mnogo manji ali je i dalje problem. Na hostovanom resenju je to skoro nemoguce dobiti, ako imas svoj hw onda nemas potrebu za virtualizacijom kada je rdbms u pitanju



svaki benchmark je dobrodosao.
1. napravi posebnu temu :D
2. dobro objasni kako si testirao, obavezno prilozi my.cnf
3. obavezno pored svojih testova uradi i test sa sysbench-om
4. raid 10 je brzi od raid1, po mojim testovima se ispostavilo brze raid0 pa indexi i data na njega nego bez raid-a na jedan disk data na drugi indexi, no kolege su imale druga merenja ... myisam je generalno prilicno mrtav tako da su svi podaci za njega stari mnogo godina. Ako ti ne trebaju informacije iz metadate tabele (tipa count(*) i slicno) i ako ti ne treba FTS myisam treba zaobilaziti osim ako ne znas bas sigurno sta radis (npr read only tabele i slicno).... jeste innodb i dalje sporiji za mnoge stvari, ali ako imas konkurentno pisanje po tabeli innodb je jedino resenje ..
5. koristi najnoviji 5.5, nemoj da na pragu 2012 godine pravis test sa deprecated verzijama mysql-a. Skini tgz verziju mysql-a sa dev.mysql.com NEMOJ da testiras sa beskorisnim binariem koji dolazi uz distribuciju
6. koristi nove tehnologije, ako imas velike tabele kojima se pristupa segmentisano, particionisi ih (i napravi merenje sa i bez particionisanja)
7. za cnf parametre za koje nisi siguran, napravi test sa raznim vrednostima, menjaj samo po jedan parametar :)

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Vidio sam jos sinoc tvoje linkove u signature ,pa sam skontao taj amazon bookmarks ;) Hvala

Pozdrav

Potpis

alea iacta est

OK, rezlutati ako me puste, ali na zalost samo u obliku "upit 1", "upit 2" i sl - mada mogu da dodam i sysbench da optereti sa konkurentnim upitima, dobra je ideja. Radicu sa postojecom bazom, starom par godina, vecina je MyISAM, a InnoDB su samo tabele koje imaju konkurentne inserte, a za test ce ici upiti koji su inace spori. my.cnf cu probati da obajvim - s'tim da cu da iskljucim query cache, jer nicemu nece da sluzi - vrtecu upite tacno jednom. Naravno da ce ici 5.5 sa sajta, tako uvek stavljam :). Za particionisanje, videcu... Realno, ne vidim bas upotrebu, najcesce se pristupa samo indexima, a u retkim slucajevima kad ide drljanje po samim data tabelama skoro uvek se prodje kroz celu tabelu.

Cilj mi je, pre svega, odluka o fajl sistemu za buduce deploymente - i provera kako bi ZFS radio, tj. koliko bi ubrzanja donela file system kompresija, tako sto bi smanjila disk I/O.

Kazem, zavisi da li cu smeti da bilo sta objavim.... Videcu.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Jel ima sanse da ubacis i BTRFS u testiranje iako je jos uvijek beta?

Potpis

Beneath civilization's fragile crust, cold chaos churns...

ti bi se ladno usudio da turis butter na produkciju :D ludji si od mene :D

i ja bi voleo da vidim kakav efekat bi cow imao na rdbms sistem koji ga nije svestan ..

sto se zfs-a tice, pogledaj da li mozes da nadjes neke guide-ove za zfs i mysql, tweakovanjem zfs-a mozes mnogo toga da dobijes, ja ga licno ne trosim (imam doma neku spark masinu ali je starija od vecine ucesnika ovog foruma tako da nije bas reprezentativna za test) a kada imam pitanja vezano za zfs klijente bacam expertima za isti, ja na zalost o istom znam prilicno malo.. (nisam imao pojma da ima kompresiju, znam da ima dobru foru da moze da kesira fajl sistem na ssd diskovima i slicno ali nisam imao ideju da ima i kompresiju :D, to bi za myisam moglo dosta da promeni stvari na bolje, u teoriji )

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Iskreno Tyler, nema. Ne vidim nikakvu poentu, meni treba informacija o tome sta je najbolje za produkciju - a btrfs nije na spisku necega sto bi stavio u produkciju. :)

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Ja mislim da je to vrlo blizu neke produkcije sto se tice konacnih performansi, i mislim da ce do kraja vecina koda da se svede na peglanje bugova i dodavanje nekih manjih mogucnosti. Pa kad se vec radi test nekoliko fajlsistema, jos jedan FS vise manje nije problem.
Naravno, ne mislim da se to stavi u produkciju, ali kada se vec radi testiranje mislim da bi info o btrfs dobro dosao u svakom slucaju, bar kao neka referenca za buducnost.

Inace, ja koristim btrfs na 2 masine koje nisu kriticne vec par mjeseci sigurno...

A na cemu ces ZFS da testiras? Solaris?

Odosmo u offtopic. Mozda bi valjalo da mod ovo premjesti u novu temu...

Potpis

Beneath civilization's fragile crust, cold chaos churns...

ZFS može da se testira na FreeBSD-u: 8.2 podržava ZFS 15, 9.0 (koji je već negde oko RC) podržava ZFS 28; posebnu pažnju obratiti na poboljšanje performansi kada se koristi Intention Log (ZIL) za upis, i Cache Device, za čitanje.

Pošto FS nudi live snapshot, checksumming i još kilo džirlo-klagenfurfera, mislim da bi bio sjajan za test - ostaje samo pitanje koliko je brz za baze.

...valjda nije samo offtopic, nego malo i hint ;)

-----------
ja trenutno rabim u špajzu jedan raidz od 7x maxtor 80, i kingston fleš kao keš drajv - i nemam ozbiljan zadatak za tu mašinu, jer služi samo kao bekap - rsync i slično, i malo fajl server za po kući.

Potpis

Kad, tokom pravljenja Nes kafe, umesto da uzmeš mleko iz friza tamo ustvari staviš Nes konzervu - shvatiš koliko je multitasking za*ebana i pipava rabota :)

ako se dobro secam zfs nema sve opcije na bsd-u koje ima na solarisu, mislim da bi, ako se vec testira fs, najbolje bilo uraditi test zfs-a u prirodnom okruzenju (solaris)

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Bogdane a ReiserFS? probao nesto s njim da petljas? tipa gasenje na zivo,korupcija baze i slicne zaebancije? Iako je malo ispao iz price od kad je tvorac istog ubio zenu , radi zaista perfektno.

Potpis

Hmmm , na VIP-u 3G preko iphone-a 2,6 Mbps DL i 1,4 UP ...