[es] - Dva servera...šta sa njima?

maroon984

Član broj: 284654
Poruke: 57
*.broadband.blic.net.

+1 Profil

^{10.05.2011. u 22:58 - pre 157 meseci}

Pozdrav svima,

da odmah pređem na problem....

imam dva IBM x3620 servera (jedan sa 8G, a drugi sa 16G RAM-a). To nije problem...:) Problem je što imam dilemu kako najbolje da ih iskoristim. Treba da vozim na njima MySQL...ono...HA, Failover, Performanse...i sve to.
Imam veliku bazu...nekih 30G za par mjeseci...veliki broj upisa. Sada koristim samo jedan server (slabiji), i load je veliki. Kako da "rasteretim" sve to?

Da li da koristim neku replikaciju (master - slave, master - master, ...), možda MySQL Proxy (sa ovim BAŠ nemam iskustva, i administracija bi išla malo teže), ili nešto treće...

Razmišljao sam da pola klijenata prebacim na jedan a drugu polovinu na drugi server, ali mi je to problematično za administraciju.

Kontam da trebam da razdvojim upis od čitanja. E sada...na koji način?

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs

+2377 Profil

Re: Dva servera...šta sa njima?

^{11.05.2011. u 02:38 - pre 157 meseci}

ja moram da priznam da nisam svatio pitanje ... evo ti super ideja sta da radis sa tim serverima - pokloni ih meni :D ja znam sta bi sa njima :)

nego da se uozbiljimo ako imas "jednu" bazu koja je velika onda ti je najbolje da stavis 8G masinu da bude master i na njoj da radis iskljucivo pisanje a oa 16G masinu stavis kao slave u semi sinhronu replikaciju (mysql 5.5) i na njoj da radis citanje.

ako imas "klijente", tj imas na tom mysql-u nekoliko baza podataka koje koriste razlicite aplikacije, razbacaj baze na oba servera, to ti je najsigurniji nacin da smanjis load. Nista ti administracija nije komplikovanija u bilo kojoj varijanta sa 2 servera (jedino je jednostavnije ako ne koristis jedan server, onda imas manje administracije).

sa e-delivery skini mysql enterprise backup kako bi mogao da radis lepo bekap tih masina

(nadam se da si na te masine stavio neki normalan os a ne neko m$ gumnenilo)

e sad, imas tu mnogo podvarijanti .. ako ti treba HA a imas 10 baza, stavis 6 na jednu masinu kao master i druge 4 na tu istu kao slave i obrnuto na drugom serveru .. ili neki od 100 razlicitih nacina ..

mozes da uradis i master-master replikaciju (cirkularnu) pa te bas briga na koji server se kace klijenti ... generalno ima mnooooooooooogo varijanti koje mozes da uradis .. jbg rekao si imam crveni zeleni i crni flomaster - sta da nacrtam ... sta ti se crta? uvek imas varijantu da doniras server nekoj skoli ili eto meni, nemam nista protiv jos jednog servera sa 16G rama (rece da ovaj sa 8G vec trosis :D )

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu

Miroslav Strugarevic

Član broj: 5038
Poruke: 2689

+68 Profil

Re: Dva servera...šta sa njima?

^{11.05.2011. u 02:47 - pre 157 meseci}

Kakav je status mysql-proxy-ja? Vidim da novih verzija nije bilo vec nekoliko meseci.

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.com
Via: [es] mailing liste

Sajt: mysql.rs

+2377 Profil

Re: Dva servera...šta sa njima?

^{11.05.2011. u 02:53 - pre 157 meseci}

status je - radi :)

generalno se proxy ne razvija kao zaseban proizvod (on je integrisan u nekoliko drugih proizvoda), ali ovakav kakav je - sljaka, ja ga koristim u produkciji super dugo na super opterecenim sajtovima i radi "bezobrazno" dobro ... prosto nema sta da se "popravlja" na njemu :D

b.

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu

Miroslav Strugarevic

Član broj: 5038
Poruke: 2689

+68 Profil

Re: Dva servera...šta sa njima?

^{11.05.2011. u 03:04 - pre 157 meseci}

Jel koristis genericke lua skripte ili svoje ili nesto mesano :) I kakav setup imas (cisto informacije radi).

edit: Naravno ako ne pitam mnogo :)

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.com
Via: [es] mailing liste

Sajt: mysql.rs

+2377 Profil

Re: Dva servera...šta sa njima?

^{11.05.2011. u 03:21 - pre 157 meseci}

imam nekoliko razlicitih setupa

1.
nekoliko lokacije, na svakoj lokaciji po:

nekoliko web servera
nekoliko db servera

db serveri su u cirkularnoj replikaciji
na web serverima se vrti proxy (na svakom serveru zasebno) koji slusa na localhost:3306 a backend su mu svih n db servera, aplikacija se kaci na localhost:3306 i vozi misko ... nista lua, pici ko blesavo. Sesije se izmedju servera cuvaju na memcached-u a sad ce da se prebace na mysql cluster (isti interface, drugi backend)

ovaj setup radi vec oko 3 godine 24/7 i servira mnogo miliona unique visitora mesecno sa mnooooooooooog strana mesecno

2.
4web servera, 6db servera (1 master, 3 slave-a, 2 test+backup servera), master - slave replikacija
proxy sa originalnim lua skriptom za rw razdvajanje

radi vec 2 godine 24/7 sa milionskom posetom

ta dva su dovoljna da prikazu standardni proxy setup .. imam ja dosta ovih alternativnih, hibridnih resenja ali to nije za ovde i sada (razne mesavine proxy+custom lua + memcached/ndbcluster etc)

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu

Miroslav Strugarevic

Član broj: 5038
Poruke: 2689

+68 Profil

Re: Dva servera...šta sa njima?

^{11.05.2011. u 03:25 - pre 157 meseci}

Hvala na informacijama.

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs

+2377 Profil

Re: Dva servera...šta sa njima?

^{11.05.2011. u 03:37 - pre 157 meseci}

nema na cemu .. generalno proxy radi bezobrazno dobro, imam klijenta sa preko 300 db servera u replikaciji (nekoliko master master i mnoooooogo slave-ova u drvetu) oni su jedan od najvecih (oni kazu najveci) ticket booking sistema na svetu ... sve zivo, avio karte, autobuske karte, brodovi, hoteli, apartmani .. (oni nude servis agencijama, sajtovima) ide preko njih .. imaju neke sumanute kolicine transakcija u minuti .. oni koriste proxy sa default rw splitting skriptom :D ... i to je deo sistema koji im radi super od pocetka ... (ok i neki delovi njihove aplikacije znaju gde su masteri a gde slaveovi ali i oni pristupaju kroz proxy) .. ja saradjujem sa tim klijentom cesto, imaju gomile problema, crko disk, rsnulo ovo ili ono, bug ovde i onde, aplikacija jede ram etc etc ... nijednom ih nisam cuo da su spomenuli proxy .. to im prosto "radi" :) ...

e sad .. nije GA .. pitanje dal ce ikad biti .. ne izlaze nove verzije .. pitanje dal ce .. zvanicno nije odbacen projekat, radi se na njemu kao delu drugih aplikacija .. sta ce biti sa budocnosti istog - nemam pojma, ali ovakak kakav je danas - radi extra ... ono sto je najverovatnije je da ce sve vise i vise delova proxy-a ici u sam konektor, ako pogledas nove konektore vec imaju neke sumanute opcije

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu

maroon984

Član broj: 284654
Poruke: 57
*.broadband.blic.net.

+1 Profil

Re: Dva servera...šta sa njima?

^{12.05.2011. u 00:18 - pre 157 meseci}

Ma dilema nije bila šta raditi sa serverima, u smislu kome ih pokloniti ili u koji kontejner baciti.... :)

Dilema je kako sa postojećim hardverom i bazom kakva jeste (stvarno veliki broj upisa, cca. 400 000 po danu) uraditi najbolju stvar. Do sada je to sve radilo na jednoj 8G mašini sa ogoljenim linux OS.
Kontam da za mastera stavim novu 16G mašinu, stavim u semi sync sa slave od 8G. Na masteru će se izvršavati par procedura za statistička izračunavanja, a klijente ću kačiti na slave da čitaju.
Ako je ovo pogrešan pristup, molim objašnjenje zašto...i prijedlog naravno!

Bogdane, hvala na svakodnevnom šerovanju znanja....milina je čitati tvoje postove!

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs

+2377 Profil

Re: Dva servera...šta sa njima?

^{12.05.2011. u 05:21 - pre 157 meseci}

Citat:

maroon984:
Kontam da za mastera stavim novu 16G mašinu, stavim u semi sync sa slave od 8G.

obrni ... nisam slucajno napisao obrnuto .. dake ako je to sve jedna velika baza, ostavi 8G masinu kao master a 16G masinu da bude slave.

u cemu je fora, na masteru radis mnogo pisanja i hoces da imas aciD sto znaci da hoces svaku transakciju da spucas na disk onda kada je komitujes, to samo po sebi znaci da sa velikom kolicinom upisa kesiranje nema neki preterano veliki znacaj posto jeli ne kesiras nego tuces na disk ... kesiranje je znacajno za citanje a kako ces na toj masini da citas mnogo manje nego na slave-u - daj slave-u masinu sa vise ram-a. na slave-u namesti da se transakcije tuku na disk "opusteno" ( citaj manual :D ) na taj nacin imas sigurno sacuvane transakcije na masteru a dobre performanse na slave-u ...

sto se razbacivanja na read/write tice, obrati paznju da rwsplitter u proxy-u radi "pametno" tako da pokusava da skonta kakav je upit da li je transakcija etc tako da ce neka citanja da radi sa mastera .. to je sve super ali ne radi uvek idealno - najbolje je kada optimizujes svoju aplikaciju da zna koji server je master a koji slave i da sama aplikacija zna koga pita za sta (ovo na zalost cesto nije moguce al .. mozda neka kombinacija proxy + promene na app ... pa se aplikacija menja vremenom da preuzme "pamet" na sebe)

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu