MySQL Backup solucije

Pozdrav svima.

U prethodnom periodu ispobavao sam razne opcije mysqlq backup-a i u nastavku su solucije na osnovu kako tudjih tako i mojih iskustava i testiranja.

SQL Backup:

1. mysqldump - standardni mysql backup klijent. Generise prenosivi SQL backup koji je prenosiv kroz razlicite platforme i kroz opcije upotrebljiv i u razlicitim DB sistemima (Oracle, MS SQL,..). Idealan za automatizaciju i skriptovanje (cron jobovi, kompresija, enkripcija, automatski error report, bekap pojedinacbih db objekata - baza, tabela, sp, db seme,...). Po mom misljenju dosta je brz i idealan za male i srednje baze do nekih 3, 4, 5GB zavisno od strukture baze.
Glavni nedostatak sto brzina opada nelinerano sa povecanjem velicine baze i samim se povecava lock i vreme tokom kojeg je baza neupotrebljiva za rad. Restore bekapa napravljenog na ovaj nacin za baze preko 15GB traje u beskonacnost - 3,4,..10 dana, ako ne pukne u nekom momentu. Veliki nedostatak nepostajanje incremental bekapa. Pretpostavljam da ce neka buduca verzija imati tu mogucnost.

2. MyDumper - nakon saveta sa ovog foruma da probam mydumper i nakon probanja istog napisao sam - ludo i brzo! Odlicna skripta/tool. U sustini radi isto sto i mysqldump samo u paralelnim threadovima, sto za posledicu ima mnoooogo brzi backup i kasniji restore. Backup baze od 25GB je bio brzi nekih 5x, a kasnije restore preko mydumper-a cak nekih skoro 10x! Sve prednosti standardnog mysqldumpa-a vaze i za MyDumper - cisti SQL bakup, skriptovanje...
Buduca verzija mysqldumpa obavezno bi trebala da ima opciju paralelnog backupa.
Jedina mana meni licno sto ne znam sta je ispod i nemogucnost detaljnog podesavanja opcija kao kod mysqldump-a. Koristi se skoro default podesavanja opcija i u zavisnosti od vrste tabele skripta mydumper sprovodi svoj definisani backup tip. Doduse mogao sam da pogledam i u kod pa da znam tacno kako radi kada :) ali...
Standardne mane su nedostatak increment bekapa, lock.

Ostale skripte ili GUI (Workbench, YOG, Heidi) su po meni ili ispod nivoa gore navedenih ili jednostavno suvisni kada imas mysqldump ili mydumper. Tu su i maatkit skripte za paralelni backup/restore ali koje se vise ne razvijaju (pretstavljaju izvorni mydumper-a i razvijaju se preko njega).


Fizicki Backup

1. Standardan fizicki backup - obaranje mysql, fizicko kopiranje datadir, startovanje mysql. Brzi nego standardan SQL backup ali prakticno nije za razmatranje zbog stopiranja mysql tokom kopiranja, osim za neke specificne situacije. Prenosiv kroz razne OS/HW kombinacije uz neka ogranicenja. Preporucljivo da se datadir migrira na istu verziju mysql. Izvedenja resenja ispod su mnogo bolja.

2. Percona Xtrabackup/innobackupex skripte. Open source tool koji omogucuje no-locking backup (Innodb), incremental (takodje samo za InnoDB), kompresiju itd. Kao i svaki fizicki backup brzi je od SQL backupa, omogucuje i backup MyISAM tabela uz neophodan lock. Lak za koriscenje i veoma dobro dokumentovan. Skripta innobackupex koja je wrapper za Xtrabackup skriptu, ima isti deo open source koda kao i innodb backup skripta komercijalnog mysql enterprise backupa (u Perconi tvrde da nisu bas zadovoljni innobackupex skriptom i da ce biti modifikovana/zamenjena skoro itd).
Cini se kao odlicno resenje i jos free. Nisam siguran da li osim InnoDB, MyISAM uz Perconin XtraDB podrzava jos neki storage engine. Takodje po Perconi ima isti princip/mogucnosti kao Mysql Enterpise Backup a u nekom segmentima prevazilazi MEB (ako je verovati). Backup je preko 2x brzi nego klasican mysqldump za bazu velicine 4GB i RAM od 1GB, bez lokovanja ili uz neprimetan lock (samo 3% tabela su bile myisam ukljucujuci i sistemsku).

3. Mylvmbackup - radi snapshot datadir koji je na LVM particiji. Cini se takodje kao veoma dobro resenje ali nisam testirao. Dalje citajuci tudja iskustva sa Mylvmbackup/LVM vidim da ima mnogo podeljenih misljenja ukljucujuci i na ovom fourmu. Sto se mene tice najupecatljivije mi je sto sam tek skoro procitao da LVM moze da
izazove i/o usporenje od 5 - 20%. Tako da, ne znajuci za skrivene mane Xtrabackup :), to mi deluje kao mnogo bolja solucija od Mylvmbackup.

4. MySQL Enterprise hot backup. Verovatno najbolje resenje koje postoji. Planiram da uskoro skinem mysql enterpise server uz sve dodatke i malo se poigram neki mesec, dva. Koliko vec Oracle dozvoljava :).

Naravno uz sve gore kombinacije, narocito za SQL dump idealna je replikacija i backup sa slave servera.


Mali off.
Oracle je prvi put otkako je preuzeo SUN/MySQL zvanicno izbacio tri knjige za MySQL: SQL query optimization, MySQL backup/restore i certification guide za sve mysql certifikacije. Sto moze da znaci da imaju ozbiljnijih planova sa Mysql nego do sada, a i ne mora da znaci nista :).

Pozdrav

gresis sinko, silno gresis :D

Ako upalis binlog i pri bekapu uradis flush logs i sacuvas log poziciju (mysqldump ima opciju da to automatski zapise u dump, ne znam za dumper nisam probao) onda ti je binlog inkrementalni bekap!! Tako da - imas inkrementalni bekap, samo ako znas kako da ga koristis. Dakle kada flushnes log pravi ti se novi binlog fajl koji pocinje tacno gde ti se tvoj bekap zavrsio. Kada sledeci put hoces da napravis inkrementalni bekap, samo povo flushnes logove (dakle nema lokovanje, cekanje .. nista) i izbekapujes binlog fajlove od proslog bekapa pa do sad ovog najnovijeg fajla kreiranog flashovanjem...





ovo je odlican nacin za bekap kada bekapujes SLAVE. Za master nikako nije preporucljiv, ali je ubedljivo najbolji nacin za bekap (i najbrzi), imas MASTER/SLAVE replikaciju, kada oces bekap, oboris slave, bekapujes, dignes slave... imas uvek konzistentan bekap, najbrzi moguci, bez prekida produkcionog servera



ne podrzava sve verzije mysql-a i ne podrzava sve operativne sisteme (a ni sve procesore). inace odlican alat.




knjige se ne pisu preko noci, to sto je izbaceno tri ozbiljne knjige (cert guide zadnji je izasao u proslom veku) za godinu dana je velika stvar. Doduse ima vrlo ozbiljnih knjiga koje su izdate van orakle kombinacije i nisu uopste lose :D cak naprotiv :) ... a sto se planova tice, ne daju se tolike pare nikome da se bude neozbiljan, ako se pogleda samo sta je izaslo zadnjih godinu dana (najbolji release od kad mysql postoji - 5.5, jedini ikad ozbiljan mysql release bez zahebanih bagova, ozbiljan upgrade za windoze korisnike, meb, plugin sistem + autentifikacija ...) - oracle je poboljsao mysql - znacajno!!! mnoooogo bolje nego sto je to bilo pod sun-om. E sad, ja mogu da ne volem mog poslodavca i da ne volem oracle filozofiju, ali to da ljudi znaju kako se radi q&a, kako se prave kvalitetne aplikacije, znaju, to ne moze niko da im zameri ... nije oracle ovoliki danas zato sto je imao sr*nje aplikaciju i placao vladama mito da bi koristili njihov db, vec zato sto pored ibm-a jedini imaju ozbiljan db sistem vec par decenija ... da ne spominjem nove resurse koje smo dobili od toga da smo zaposlili nove ljude do toga da oracle ima bezobrazan linux tim (ne mogu da objasnim kako su to pozitivno ludi ljudi :D ) koji nam je dosta pomogao oko nekih stvari + imaju ozbiljan windoze tim (oracle ima sorsove svih vecih delova winblowsa, napisao je brdo patcheva za winblowse i ti momci koji to rade su mnoooogo ludi likovi) tako da su nam oni pomogli dosta i oko winblows podrske za mysql (svi znamo da je mysql radio mnogo lose na winblowsu, delimicno sto je winblows sra*e ali uglavnom zato sto nijedan mysql developer nikad nije koristio winblows pa ne znaju kako to "u stvari radi")... cek samo da vidis sta ce sve biti ove godine :D :D :D

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

LIKE!

Ja sam se malo bojao da ce Oracle da ubije MySQL, ali.........., a
@"ti ludi likovi" : samo napred!

:)

zasto bi ubijali nesto sto pravi pare ?! nisu oni postali jedna od najjacih firmi u industriji zato sto su gasili dobre proizvode i ponasali se "sentimentalno" :D

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Mislio sam na sam mysqldump kao alat koji nema mogucnost incremental backupa, a ne da ne postoji mogucnost da se to izvede u mysql preko standardnih stvari koje postoje i kombinacije istih racunajuci i mysqlbinlog alatku. U kombinaciji mysqldump sa binlogovima naravno da moze da se napravi increment bakup. Tome i sluzi bin log (uz replikaciju i restore point in time).

Mydumper ima cak i opciju automatskog bekapa napravljenih bin logova (nisam siguran da li pravi automatski flush i da li postoji ta opcija u okviru mydumpera). Xtrabackup ima u sebi ugradjenu mogucnost za increment (samo Innodb) - full belezi zadnju poziciju u ibdata fajlu i sledeci increment cita od te pozicije originalni innodb fajl..






Kako mislis da ne podrzava sve mysql verzije? Na Percona sajtu stoji da podrzava 5.0, 5.1 i 5.5 verzije plus percona server verzije. Sama xtrabackup skripta koja radi innodb backup
i koja se moze pozivati preko innobackupex ili samostalno ima tri verzije prema tipu servera koji gadja xtrabackup50, xtrabackup51 i xtrabackup55.
Doduse stoji i na sajtu da je build radjen prema odredjenoj 5.0.x, 5.1.x i 5.5.x verziji. Sto se tice OS ne podrzava Win naravno. I podrzava samo InnoDB i MyISAM uz Perconin XtraDB engine.




Drago mi je da Oracle ozbiljno shvata svoj MySQL kao sto uveliko integrise SUN. Uostalom to su stvari koje ti najbolje i znas, nevezano sto ne mozes sve javno i da kazes nego ti nekad izleti :). To je veoma dragocen izvor informacija za nas ostale zajedno sa ostalim tehnickim i ne-tehnickim stvarima vezanih za MySQL/Oracle. Inace na zvanicnim Oracle dogadjajima gde su glavne teme Oracle Support, dobar deo je uvek posvecen uspesnoj integraciji SUN-a i SUN Supporta u Oracle support. Na pitanja o nivou integracije MySQL i mysql supporta u jedinstven Oracle support, celni ljudi Oracle supporta ni zvanicno ni privatno nemaju neki "sirok" odgovor osim pozivanja na zvanican stav da Oracle nastavlja da podrzava razvoj MySQL i da se tu nista nije promenilo.


Da li imas info da se mozda planira neki MySQl dogadjaj u Srbiji ove godine? Ili Oracle event gde ce bar jedan deo biti posvecen MySQL-u? To bi bas bilo fino. Ili barem negde u regionu :).

Pozdrav

imam info, ne planira se nista ove godine u regionu vezano za mysql, eventualno ako se ja iscimam pa nesto organizujem ali i to tesko

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

moze li neko malo detaljnije objasniti kako se koristi ovaj mydumper, skinuo sam poslednju stabilnu verziju ali mi nije jasan koncept, niti ima exe za instalaciju niti ista drugo sto bih mogao iskoristiti na prvi pogled a vidim da vi vec koristite. hvala unapred.

ti si na windozi? ne radi to na windozi...

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

jesam na windowsu :) barem sam dobio odgovor, hvala!

mozda bi moglo to da se budzne kroz cygwin, skines cygwin i prekompajliras ga u cygwin-u .. trebalo bi da sljaka

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Podigni neki linux ili podigni virtuelnu na win-u na kojoj ces da imas neki linux, postavis mydumper i odatle gadjas mysql ma gde on nalazio win, linux, mac, solaris.

Pozdrav.

hvala momci, mada sam generalno slab sa linuxom, nisam ga koristio. koji preporucujete da podignem na virt masini? da ga malo pregledam. hvala puno.