Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

MySQL Backup solucije

[es] :: MySQL :: MySQL Backup solucije

[ Pregleda: 2369 | Odgovora: 12 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

after
Ajvanho, ING

Član broj: 276962
Poruke: 97
*.dynamic.sbb.rs.



+6 Profil

icon MySQL Backup solucije11.01.2012. u 21:55 - pre 148 meseci
Pozdrav svima.

U prethodnom periodu ispobavao sam razne opcije mysqlq backup-a i u nastavku su solucije na osnovu kako tudjih tako i mojih iskustava i testiranja.

SQL Backup:

1. mysqldump - standardni mysql backup klijent. Generise prenosivi SQL backup koji je prenosiv kroz razlicite platforme i kroz opcije upotrebljiv i u razlicitim DB sistemima (Oracle, MS SQL,..). Idealan za automatizaciju i skriptovanje (cron jobovi, kompresija, enkripcija, automatski error report, bekap pojedinacbih db objekata - baza, tabela, sp, db seme,...). Po mom misljenju dosta je brz i idealan za male i srednje baze do nekih 3, 4, 5GB zavisno od strukture baze.
Glavni nedostatak sto brzina opada nelinerano sa povecanjem velicine baze i samim se povecava lock i vreme tokom kojeg je baza neupotrebljiva za rad. Restore bekapa napravljenog na ovaj nacin za baze preko 15GB traje u beskonacnost - 3,4,..10 dana, ako ne pukne u nekom momentu. Veliki nedostatak nepostajanje incremental bekapa. Pretpostavljam da ce neka buduca verzija imati tu mogucnost.

2. MyDumper - nakon saveta sa ovog foruma da probam mydumper i nakon probanja istog napisao sam - ludo i brzo! Odlicna skripta/tool. U sustini radi isto sto i mysqldump samo u paralelnim threadovima, sto za posledicu ima mnoooogo brzi backup i kasniji restore. Backup baze od 25GB je bio brzi nekih 5x, a kasnije restore preko mydumper-a cak nekih skoro 10x! Sve prednosti standardnog mysqldumpa-a vaze i za MyDumper - cisti SQL bakup, skriptovanje...
Buduca verzija mysqldumpa obavezno bi trebala da ima opciju paralelnog backupa.
Jedina mana meni licno sto ne znam sta je ispod i nemogucnost detaljnog podesavanja opcija kao kod mysqldump-a. Koristi se skoro default podesavanja opcija i u zavisnosti od vrste tabele skripta mydumper sprovodi svoj definisani backup tip. Doduse mogao sam da pogledam i u kod pa da znam tacno kako radi kada :) ali...
Standardne mane su nedostatak increment bekapa, lock.

Ostale skripte ili GUI (Workbench, YOG, Heidi) su po meni ili ispod nivoa gore navedenih ili jednostavno suvisni kada imas mysqldump ili mydumper. Tu su i maatkit skripte za paralelni backup/restore ali koje se vise ne razvijaju (pretstavljaju izvorni mydumper-a i razvijaju se preko njega).


Fizicki Backup

1. Standardan fizicki backup - obaranje mysql, fizicko kopiranje datadir, startovanje mysql. Brzi nego standardan SQL backup ali prakticno nije za razmatranje zbog stopiranja mysql tokom kopiranja, osim za neke specificne situacije. Prenosiv kroz razne OS/HW kombinacije uz neka ogranicenja. Preporucljivo da se datadir migrira na istu verziju mysql. Izvedenja resenja ispod su mnogo bolja.

2. Percona Xtrabackup/innobackupex skripte. Open source tool koji omogucuje no-locking backup (Innodb), incremental (takodje samo za InnoDB), kompresiju itd. Kao i svaki fizicki backup brzi je od SQL backupa, omogucuje i backup MyISAM tabela uz neophodan lock. Lak za koriscenje i veoma dobro dokumentovan. Skripta innobackupex koja je wrapper za Xtrabackup skriptu, ima isti deo open source koda kao i innodb backup skripta komercijalnog mysql enterprise backupa (u Perconi tvrde da nisu bas zadovoljni innobackupex skriptom i da ce biti modifikovana/zamenjena skoro itd).
Cini se kao odlicno resenje i jos free. Nisam siguran da li osim InnoDB, MyISAM uz Perconin XtraDB podrzava jos neki storage engine. Takodje po Perconi ima isti princip/mogucnosti kao Mysql Enterpise Backup a u nekom segmentima prevazilazi MEB (ako je verovati). Backup je preko 2x brzi nego klasican mysqldump za bazu velicine 4GB i RAM od 1GB, bez lokovanja ili uz neprimetan lock (samo 3% tabela su bile myisam ukljucujuci i sistemsku).

3. Mylvmbackup - radi snapshot datadir koji je na LVM particiji. Cini se takodje kao veoma dobro resenje ali nisam testirao. Dalje citajuci tudja iskustva sa Mylvmbackup/LVM vidim da ima mnogo podeljenih misljenja ukljucujuci i na ovom fourmu. Sto se mene tice najupecatljivije mi je sto sam tek skoro procitao da LVM moze da
izazove i/o usporenje od 5 - 20%. Tako da, ne znajuci za skrivene mane Xtrabackup :), to mi deluje kao mnogo bolja solucija od Mylvmbackup.

4. MySQL Enterprise hot backup. Verovatno najbolje resenje koje postoji. Planiram da uskoro skinem mysql enterpise server uz sve dodatke i malo se poigram neki mesec, dva. Koliko vec Oracle dozvoljava :).

Naravno uz sve gore kombinacije, narocito za SQL dump idealna je replikacija i backup sa slave servera.


Mali off.
Oracle je prvi put otkako je preuzeo SUN/MySQL zvanicno izbacio tri knjige za MySQL: SQL query optimization, MySQL backup/restore i certification guide za sve mysql certifikacije. Sto moze da znaci da imaju ozbiljnijih planova sa Mysql nego do sada, a i ne mora da znaci nista :).

Pozdrav
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Backup solucije11.01.2012. u 23:54 - pre 148 meseci
Citat:
after
1. mysqldump -
...
Veliki nedostatak nepostajanje incremental bekapa. Pretpostavljam da ce neka buduca verzija imati tu mogucnost.

2. MyDumper -
...
Standardne mane su nedostatak increment bekapa, lock.


gresis sinko, silno gresis :D

Ako upalis binlog i pri bekapu uradis flush logs i sacuvas log poziciju (mysqldump ima opciju da to automatski zapise u dump, ne znam za dumper nisam probao) onda ti je binlog inkrementalni bekap!! Tako da - imas inkrementalni bekap, samo ako znas kako da ga koristis. Dakle kada flushnes log pravi ti se novi binlog fajl koji pocinje tacno gde ti se tvoj bekap zavrsio. Kada sledeci put hoces da napravis inkrementalni bekap, samo povo flushnes logove (dakle nema lokovanje, cekanje .. nista) i izbekapujes binlog fajlove od proslog bekapa pa do sad ovog najnovijeg fajla kreiranog flashovanjem...



Citat:
after
1. Standardan fizicki backup - obaranje mysql, fizicko kopiranje datadir, startovanje mysql. Brzi nego standardan SQL backup ali prakticno nije za razmatranje zbog stopiranja mysql tokom kopiranja, osim za neke specificne situacije. Prenosiv kroz razne OS/HW kombinacije uz neka ogranicenja. Preporucljivo da se datadir migrira na istu verziju mysql. Izvedenja resenja ispod su mnogo bolja.


ovo je odlican nacin za bekap kada bekapujes SLAVE. Za master nikako nije preporucljiv, ali je ubedljivo najbolji nacin za bekap (i najbrzi), imas MASTER/SLAVE replikaciju, kada oces bekap, oboris slave, bekapujes, dignes slave... imas uvek konzistentan bekap, najbrzi moguci, bez prekida produkcionog servera

Citat:
after
2. Percona Xtrabackup/innobackupex skripte.


ne podrzava sve verzije mysql-a i ne podrzava sve operativne sisteme (a ni sve procesore). inace odlican alat.


Citat:
after
Oracle je prvi put otkako je preuzeo SUN/MySQL zvanicno izbacio tri knjige za MySQL: SQL query optimization, MySQL backup/restore i certification guide za sve mysql certifikacije. Sto moze da znaci da imaju ozbiljnijih planova sa Mysql nego do sada, a i ne mora da znaci nista :).


knjige se ne pisu preko noci, to sto je izbaceno tri ozbiljne knjige (cert guide zadnji je izasao u proslom veku) za godinu dana je velika stvar. Doduse ima vrlo ozbiljnih knjiga koje su izdate van orakle kombinacije i nisu uopste lose :D cak naprotiv :) ... a sto se planova tice, ne daju se tolike pare nikome da se bude neozbiljan, ako se pogleda samo sta je izaslo zadnjih godinu dana (najbolji release od kad mysql postoji - 5.5, jedini ikad ozbiljan mysql release bez zahebanih bagova, ozbiljan upgrade za windoze korisnike, meb, plugin sistem + autentifikacija ...) - oracle je poboljsao mysql - znacajno!!! mnoooogo bolje nego sto je to bilo pod sun-om. E sad, ja mogu da ne volem mog poslodavca i da ne volem oracle filozofiju, ali to da ljudi znaju kako se radi q&a, kako se prave kvalitetne aplikacije, znaju, to ne moze niko da im zameri ... nije oracle ovoliki danas zato sto je imao sr*nje aplikaciju i placao vladama mito da bi koristili njihov db, vec zato sto pored ibm-a jedini imaju ozbiljan db sistem vec par decenija ... da ne spominjem nove resurse koje smo dobili od toga da smo zaposlili nove ljude do toga da oracle ima bezobrazan linux tim (ne mogu da objasnim kako su to pozitivno ludi ljudi :D ) koji nam je dosta pomogao oko nekih stvari + imaju ozbiljan windoze tim (oracle ima sorsove svih vecih delova winblowsa, napisao je brdo patcheva za winblowse i ti momci koji to rade su mnoooogo ludi likovi) tako da su nam oni pomogli dosta i oko winblows podrske za mysql (svi znamo da je mysql radio mnogo lose na winblowsu, delimicno sto je winblows sra*e ali uglavnom zato sto nijedan mysql developer nikad nije koristio winblows pa ne znaju kako to "u stvari radi")... cek samo da vidis sta ce sve biti ove godine :D :D :D


 
Odgovor na temu

dzigilibonglica
NS

Član broj: 200040
Poruke: 294



+17 Profil

icon Re: MySQL Backup solucije12.01.2012. u 14:21 - pre 148 meseci
Citat:
... cek samo da vidis sta ce sve biti ove godine :D :D :D


LIKE!

Ja sam se malo bojao da ce Oracle da ubije MySQL, ali.........., a
@"ti ludi likovi" : samo napred!

:)
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Backup solucije12.01.2012. u 17:04 - pre 148 meseci
zasto bi ubijali nesto sto pravi pare ?! nisu oni postali jedna od najjacih firmi u industriji zato sto su gasili dobre proizvode i ponasali se "sentimentalno" :D
 
Odgovor na temu

after
Ajvanho, ING

Član broj: 276962
Poruke: 97
*.dynamic.sbb.rs.



+6 Profil

icon Re: MySQL Backup solucije12.01.2012. u 18:15 - pre 148 meseci
Citat:
bogdan.kecman: gresis sinko, silno gresis :D



Mislio sam na sam mysqldump kao alat koji nema mogucnost incremental backupa, a ne da ne postoji mogucnost da se to izvede u mysql preko standardnih stvari koje postoje i kombinacije istih racunajuci i mysqlbinlog alatku. U kombinaciji mysqldump sa binlogovima naravno da moze da se napravi increment bakup. Tome i sluzi bin log (uz replikaciju i restore point in time).

Mydumper ima cak i opciju automatskog bekapa napravljenih bin logova (nisam siguran da li pravi automatski flush i da li postoji ta opcija u okviru mydumpera). Xtrabackup ima u sebi ugradjenu mogucnost za increment (samo Innodb) - full belezi zadnju poziciju u ibdata fajlu i sledeci increment cita od te pozicije originalni innodb fajl..



Citat:
bogdan.kecman: ne podrzava sve verzije mysql-a i ne podrzava sve operativne sisteme (a ni sve procesore). inace odlican alat.



Kako mislis da ne podrzava sve mysql verzije? Na Percona sajtu stoji da podrzava 5.0, 5.1 i 5.5 verzije plus percona server verzije. Sama xtrabackup skripta koja radi innodb backup
i koja se moze pozivati preko innobackupex ili samostalno ima tri verzije prema tipu servera koji gadja xtrabackup50, xtrabackup51 i xtrabackup55.
Doduse stoji i na sajtu da je build radjen prema odredjenoj 5.0.x, 5.1.x i 5.5.x verziji. Sto se tice OS ne podrzava Win naravno. I podrzava samo InnoDB i MyISAM uz Perconin XtraDB engine.


Citat:
bogdan.kecman: ... cek samo da vidis sta ce sve biti ove godine :D :D :D


Drago mi je da Oracle ozbiljno shvata svoj MySQL kao sto uveliko integrise SUN. Uostalom to su stvari koje ti najbolje i znas, nevezano sto ne mozes sve javno i da kazes nego ti nekad izleti :). To je veoma dragocen izvor informacija za nas ostale zajedno sa ostalim tehnickim i ne-tehnickim stvarima vezanih za MySQL/Oracle. Inace na zvanicnim Oracle dogadjajima gde su glavne teme Oracle Support, dobar deo je uvek posvecen uspesnoj integraciji SUN-a i SUN Supporta u Oracle support. Na pitanja o nivou integracije MySQL i mysql supporta u jedinstven Oracle support, celni ljudi Oracle supporta ni zvanicno ni privatno nemaju neki "sirok" odgovor osim pozivanja na zvanican stav da Oracle nastavlja da podrzava razvoj MySQL i da se tu nista nije promenilo.


Da li imas info da se mozda planira neki MySQl dogadjaj u Srbiji ove godine? Ili Oracle event gde ce bar jedan deo biti posvecen MySQL-u? To bi bas bilo fino. Ili barem negde u regionu :).

Pozdrav
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Backup solucije12.01.2012. u 18:40 - pre 148 meseci
Citat:
after: Da li imas info da se mozda planira neki MySQl dogadjaj u Srbiji ove godine? Ili Oracle event gde ce bar jedan deo biti posvecen MySQL-u? To bi bas bilo fino. Ili barem negde u regionu :).


imam info, ne planira se nista ove godine u regionu vezano za mysql, eventualno ako se ja iscimam pa nesto organizujem ali i to tesko
 
Odgovor na temu

Orome
programer

Član broj: 273201
Poruke: 115
*.teol.net.



+1 Profil

icon Re: MySQL Backup solucije17.01.2012. u 13:33 - pre 148 meseci
moze li neko malo detaljnije objasniti kako se koristi ovaj mydumper, skinuo sam poslednju stabilnu verziju ali mi nije jasan koncept, niti ima exe za instalaciju niti ista drugo sto bih mogao iskoristiti na prvi pogled a vidim da vi vec koristite. hvala unapred.
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
95.180.61.*

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Backup solucije17.01.2012. u 14:18 - pre 148 meseci
Citat:
Orome: exe za instalaciju


ti si na windozi? ne radi to na windozi...
 
Odgovor na temu

Orome
programer

Član broj: 273201
Poruke: 115
*.teol.net.



+1 Profil

icon Re: MySQL Backup solucije18.01.2012. u 09:01 - pre 148 meseci
jesam na windowsu :) barem sam dobio odgovor, hvala!
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
95.180.61.*

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Backup solucije18.01.2012. u 09:08 - pre 148 meseci
mozda bi moglo to da se budzne kroz cygwin, skines cygwin i prekompajliras ga u cygwin-u .. trebalo bi da sljaka
 
Odgovor na temu

after
Ajvanho, ING

Član broj: 276962
Poruke: 97
*.dynamic.sbb.rs.



+6 Profil

icon Re: MySQL Backup solucije18.01.2012. u 17:18 - pre 148 meseci
Podigni neki linux ili podigni virtuelnu na win-u na kojoj ces da imas neki linux, postavis mydumper i odatle gadjas mysql ma gde on nalazio win, linux, mac, solaris.

Pozdrav.
 
Odgovor na temu

Orome
programer

Član broj: 273201
Poruke: 115
*.teol.net.



+1 Profil

icon Re: MySQL Backup solucije19.01.2012. u 12:29 - pre 148 meseci
hvala momci, mada sam generalno slab sa linuxom, nisam ga koristio. koji preporucujete da podignem na virt masini? da ga malo pregledam. hvala puno.
 
Odgovor na temu

after
Ajvanho, ING

Član broj: 276962
Poruke: 97
*.dynamic.sbb.rs.



+6 Profil

icon Re: MySQL Backup solucije20.01.2012. u 20:56 - pre 148 meseci
To je vise pitanje za Linux majstore i drugi pod-forum:). U sustini podigni bilo sta, recimo Centos. Ne moras ubuntu jer je vise desktop OS, ali to ce pre i bolje neko drugi da ti objasni. I samo kroz komandnu liniju. Em je prirodnije i ima vise mogucnosti i kontrole, em ti daje kompatibilnost komandne sintakse za sve *nix sisteme. Uostalom sto se tice mydumpera komandna linija ti je i jedina mogucnost da ga pokrenes i radis backup/restore.
 
Odgovor na temu

[es] :: MySQL :: MySQL Backup solucije

[ Pregleda: 2369 | Odgovora: 12 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.