Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Mysql backup - rotate

[es] :: MySQL :: Mysql backup - rotate

[ Pregleda: 2797 | Odgovora: 16 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

maroon984

Član broj: 284654
Poruke: 57
..able.dyn.broadband.blic.net.



+1 Profil

icon Mysql backup - rotate20.05.2012. u 12:51 - pre 144 meseci
Pozdrav,

potrebna mi je skripta za backup podataka u mysql-u. Klasičan backup je u pitanju, mysqldump gzip, koja ide recimo u /backup i backup se čuva od prethodnih 7 dana.
Npr. u /backup se nalazi :

backup_2012-01-02.tar.gz
backup_2012-01-03.tar.gz
backup_2012-01-04.tar.gz
...

Pokreće se nekim cron-om ili slično u 00:00.
Linux je u pitanju, naravno (OpenSUSE).

Hvala!
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: Mysql backup - rotate20.05.2012. u 16:37 - pre 144 meseci
innodb + myisam ili samo myisam?
da li je datadir na lvm-u? (ako nije, zasto nije?)
da li dolaze u obzir komercijalni programi (koje mozes da dl-ujes za dz ali je licenca komercijalna)?
 
Odgovor na temu

maroon984

Član broj: 284654
Poruke: 57
..able.dyn.broadband.blic.net.



+1 Profil

icon Re: Mysql backup - rotate20.05.2012. u 21:24 - pre 144 meseci
InnoDB je u pitanju.
Datadir nije na LVM. Situacija je ovakva:

6 diskova RAID 10 -> /mysql_datadir
2 diska RAID 1 -> /
2 diska RAID 0 -> /logovi
1 disk -> /backup

Zasto nije LVM? Pa...nemam nikakvog iskustva sa tim. Osim snapshot-a, koja je jos prednost?
Ti komercijalni programi koji se dwnl za dz, imaju free trial ili je neka druga fora?
Treba mi nesto sto fercera, a ne trazi $ za uzvrat! :)
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: Mysql backup - rotate20.05.2012. u 23:16 - pre 144 meseci
@bogdan: rece covek da ce da radi dump... osim sto ce da skuca bazu na duzi vremenski period time, kakve veze ima da li je innodb ili mysql?
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: Mysql backup - rotate20.05.2012. u 23:56 - pre 144 meseci
Citat:
nkrgovic: @bogdan: rece covek da ce da radi dump..


on je rekao da ce da radi dump posto je to verovatno jedini nacin na koji ume da uradi bekap - to ne znaci da je to najbolji nacin

Citat:
maroon984: InnoDB je u pitanju.

ok znaci innodb+myisam (uvek imas myisam, ako nista onda bar u mysql bazi za luzere, stored procedure, trigere i slicno)

Citat:
maroon984:Zasto nije LVM? Pa...nemam nikakvog iskustva sa tim. Osim snapshot-a, koja je jos prednost?


prednost je bas to - snapshot. da ti je datadir na lvm-u mogao bi da koristis na primer mylvmbackup, pisao kolega iz tima, mnogo dobra alatka, frizne ti mysql na kratko, flushne sve, saceka da innodb zavrsi sve background taskove i onda napravi lvm snapshot i pusti mysql da dalje normalno radi. Onda izbekapuje taj snapshot i obrise ga. Dobijes konzistentan bekap mysql-a skoro bez ikakvog downtime-a (tj sa minimalnim downtime-om). U poredjenju sa mysqldump milijardu puta bolje resenje.


Citat:
maroon984:Ti komercijalni programi koji se dwnl za dz, imaju free trial ili je neka druga fora?


oracle je malo cudan po tom pitanju. Ako odes na https://edelivery.oracle.com/ mozes da se registrujes (za dz) i da downloadujes BILO STA STO ORACLE PRAVI, i nista nije "demo verzija", tj nista nije osakaceno, nista nema time limit i slicno. Sta je fora, ima licence fajl u kom pise ukratko: "ovo moz da probas kod kuce, da ucis, vidis dal ti se svidi, i ako odlucis da koristis kontaktiraj nas sales". Sto ce reci, ti mozes da skines bilo koji app i da ga koristis u produkciji "dok te oracle ne provali, tj. dok te neko ne prijavi" i onda te kontaktiraju njihovi advokati i .... ali nikakvih time limita i slicno nema.

E sad, za mysql bekap postoji nesto sto se zove MySQL Enterprise Backup - iliti MEB. Ti sada mozes da skines to sa edelivery-a, da "Testiras" jedno 2-3 godine etc etc ... a mozes i da platis 5000$ po serveru godisnje (sto je po meni smesno mala kolicina para) i da za te pare dobijes full enterprise subscription koji ukljucuje full support, consulting, enterprise binaries (MEM, MEB, MES ..) etc etc ... realno to su smesne pare obzirom na kvalitet usluge koju dobijas (za 320eur mesecno koliko to izadje ne mozes da zaposlis ni cistacicu ako joj legalno placas doprinose a ne kvalitetnog DBA - moj SAT je kostao vise od toga!!!)

U svakom slucaju MEB ti je pravo resenje za bekap, a ti vidi kako ces ga koristiti.

sto se skripte tice, stavis nesto tipa ovoga u
/etc/cron.hourly

Code:

#!/bin/sh

rm -rf /BACKUP/latest-3
mv /BACKUP/latest-2 /BACKUP/latest-3
mv /BACKUP/latest-1 /BACKUP/latest-2
mv /BACKUP/latest   /BACKUP/latest-1
mkdir /BACKUP/latest
BACKUPDIR=/BACKUP/latest

mysqlbackup  --backup-dir=$BACKUPDIR backup-and-apply-log 
sync


To ti na primer pravi bekap svakih sat vremena i cuva zadnja 4 bekapa (valjda ti je jasno kako da promenis da cuva vise)

onda mozes da stavis u /etc/cron.daily nesto tipa

Code:

#!/bin/sh
rm -rf /BACKUP/daily.latest-3.tar
mv /BACKUP/daily.latest-2.tar /BACKUP/daily.latest-3.tar
mv /BACKUP/daily.latest-1.tar /BACKUP/daily.latest-2.tar
mv /BACKUP/daily.latest.tar /BACKUP/daily.latest-1.tar

tar jcf /BACKUPS/daily.latest.tar /BACKUP/latest-1
sync


ovo ce ti svaki dan sacuvati jedan bekap kao dnevni i cuvaci 4 komada. Vidis da pakuje latest-1 od ovog sto ide na svakih sat, to je zato da ne bi upao u koliziju ako krene skript dok se pravi latest bekap da ne bi gubio vreme sa kreiranjem lock fajlova i slicno

Sad, ako ti oces da radis mysqldump umesto da koristi MEB, zameni mysqlbackup sa mysqldump i generalno je sve ostalo isto

 
Odgovor na temu

Shinhan
PHP programmer
Subotica

Član broj: 12327
Poruke: 372
*.static.isp.telekom.rs.

Jabber: shinhan@elitesecurity.org
ICQ: 400847988


+4 Profil

icon Re: Mysql backup - rotate22.05.2012. u 13:55 - pre 144 meseci
Još jedan predlog, xtrabackup od Percone.
"Common sense is not so common." - Voltaire
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: Mysql backup - rotate22.05.2012. u 16:18 - pre 144 meseci
sad je malo glupo da to ja kazem, ali xtrabackup nije bas naj-idealnije resenje, posebno ne za 5.5, on radi slicno kao meb ali neke stvari radi dosta sporije i ima neke nezgodne momente ... no, u svakom slucaju, da, postoji kao mogucnost, ja bi radije testirao meb par godina nego rizikovao sa xtrabackup-om
 
Odgovor na temu

after
Ajvanho, ING

Član broj: 276962
Poruke: 97
*.dynamic.sbb.rs.



+6 Profil

icon Re: Mysql backup - rotate22.05.2012. u 20:24 - pre 144 meseci
Citat:
bogdan.kecman: sad je malo glupo da to ja kazem, ali xtrabackup nije bas naj-idealnije resenje, posebno ne za 5.5, on radi slicno kao meb ali neke stvari radi dosta sporije i ima neke nezgodne momente ... no, u svakom slucaju, da, postoji kao mogucnost, ja bi radije testirao meb par godina nego rizikovao sa xtrabackup-om


Jednom sam radi testiranja probao xtrabackup i fino mi je delovao, mada nisam se nesto udubljivao niti imao priliku da uporedim sa drugim resenjima (MEB). Zasto bas sa 5.5 ne radi bas sjajno? Da nije Oracle poceo da ugradjuje MS taktiku u nove proizvode, da alati van maticne firme zbog ugradjenih resenja ne mogu da odrade kako treba :).
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: Mysql backup - rotate22.05.2012. u 23:32 - pre 144 meseci
ne ugradjuje oracle nista, eno ga source pa proveri :), fora je sto perkona koristi 5.1 bazu i testiranje nad 5.5 je znacajno manje
 
Odgovor na temu

maroon984

Član broj: 284654
Poruke: 57
..able.dyn.broadband.blic.net.



+1 Profil

icon Re: Mysql backup - rotate23.05.2012. u 22:06 - pre 144 meseci
Registrovao sam se na https://edelivery.oracle.com/, skinuo MEB, i sada ga testiram...djeluje stvarno moćno.
Da li se MEB može posebno kupiti, ili samo kao dio MySQL Enterprise Edition?

E sada, na edelivery sam našao MySQL Database Enterprise. Na prvu se čini sličnim kao Community Server.
Da li je razlika samo u full support, ili ima i nekih drugih prednosti?
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
95.180.61.*

Sajt: mysql.rs


+2377 Profil

icon Re: Mysql backup - rotate24.05.2012. u 03:12 - pre 144 meseci
Citat:
maroon984: Registrovao sam se na https://edelivery.oracle.com/, skinuo MEB, i sada ga testiram...djeluje stvarno moćno.

rekoh ja :)

Citat:
maroon984:
Da li se MEB može posebno kupiti, ili samo kao dio MySQL Enterprise Edition?


jok, nekada je oracle imao "innodbhotbackup" koji je mogao da se kupi ali to je ugaseno i integrisano u meb, a meb kao i mem i kojesta jos moze da se dobije samo uz enterprise subscription i nikako drugacije. Doduse, full enterprise subscription ti je 5k dolara godisnje, to je nesto tipa 300 nemaca mesecno, mislim da se vrlo isplati (obzirom da pored svih tih alata dobijes konsalting i support koji vredi znacajno mnogo vise i moze da ti ustedi cudo para i cudo vremena)

Citat:
maroon984:
E sada, na edelivery sam našao MySQL Database Enterprise. Na prvu se čini sličnim kao Community Server.
Da li je razlika samo u full support, ili ima i nekih drugih prednosti?

support ne mozes da skines sa edelivery-a a binary koji skines ti ga nece dati :D tako da nema neke vajde
taj binary je vise manje ista prica kao onaj community, prave se od istog sorsa samo im je licenca drugacija. E sad, uz enterprise binary bi trebalo da idu i neki plagini koji nisu open source (na primer auth plagin) ali da budem iskren pojma nemam da li su ukljuceni u taj paket ili ne (nije da su ti plagini nesto znacajni za sada, mozda u buducnosti u tim plaginima bude i nekih zgodnih stvari, za sada nista znacajno)

 
Odgovor na temu

maroon984

Član broj: 284654
Poruke: 57
..able.dyn.broadband.blic.net.



+1 Profil

icon Re: Mysql backup - rotate24.05.2012. u 19:15 - pre 144 meseci
Čačkam malo po MEB-u, i ovaj Incremental Backup super fercera. Samo iznosim oduševljenje.... :)

Interesuje me, kako se mysqlbackup sa opcijom backup-and-apply-log ponaša dok je mysql pod opterećenjem (hot backup)?
I koja je uopšte razlika između opcije backup-and-apply-log i backup?

Našao sam još dva parametra koja nisam prije koristio:

Code:
innodb_file_format
innodb_log_files_in_group


Da li da podesim da je innodb_file_format = Barracuda, ili?
Sta se podešava sa innodb_log_files_in_group?
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
95.180.61.*

Sajt: mysql.rs


+2377 Profil

icon Re: Mysql backup - rotate24.05.2012. u 19:54 - pre 144 meseci
Citat:
maroon984
Da li da podesim da je innodb_file_format = Barracuda, ili?


http://dev.mysql.com/doc/innod...innodb-row-format-dynamic.html
http://dev.mysql.com/doc/innodb/1.1/en/innodb-file-format.html
http://dev.mysql.com/doc/innod...n/glossary.html#glos_barracuda
http://www.mysqlperformanceblo...-barracuda-innodb-file-format/


Da li preci na barakudu - po meni - NARAVNO, e sad da li hoces compressed ili dynamic .. to moras da odlucis sam

Citat:
maroon984: Sta se podešava sa innodb_log_files_in_group?


http://dev.mysql.com/doc/refma...svar_innodb_log_files_in_group

podesava se koliko imas log fajlova, nista znacajno, ostavis default (2) i ne mislis

Citat:
maroon984:
Interesuje me, kako se mysqlbackup sa opcijom backup-and-apply-log ponaša dok je mysql pod opterećenjem (hot backup)?


ok se ponasa, sve zavisi kog tipa je opterecenje, sve transakcije idu u log dok se ne zavrsi bekap tako da ako imas ogromne transakcije mozes da imas problem (ali tu onda imas problem svejedno, ne vezano za bekap), kada zavrsis bekap malo ces imati jaci IO da se sad to sve prespe

Citat:
maroon984:
I koja je uopšte razlika između opcije backup-and-apply-log i backup?


backup napravi snapshot unutar tablespace-a i bekapuje tablespace
apply-log kada zavrsi bekap izbekapuje i ono sto je u medjuvremenu otislo u log

Dakle backup ti pravi bekap koji je konzistentan u trenutku kada si poceo da radis bekap a backup-and-apply-log ti pravi bekap koji je konzistentan po zavrsetku bekapa.


 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
95.180.61.*

Sajt: mysql.rs


+2377 Profil

icon Re: Mysql backup - rotate24.05.2012. u 19:59 - pre 144 meseci
literatura:

http://opensourcedba.wordpress...ysql-enterprise-backup-part-i/
https://blogs.oracle.com/MySQL...rise_backup_taking_incremental
https://blogs.oracle.com/sveta...ry_of_success_mysql_enterprise
https://blogs.oracle.com/MySQL...sql_enterprise_backup_redo_log

 
Odgovor na temu

maroon984

Član broj: 284654
Poruke: 57
..able.dyn.broadband.blic.net.



+1 Profil

icon Re: Mysql backup - rotate24.05.2012. u 23:26 - pre 144 meseci
Bogdane legendo, hvala!

Citat:
Da li preci na barakudu - po meni - NARAVNO, e sad da li hoces compressed ili dynamic .. to moras da odlucis sam


Koliko sam mogao da zaključim, barakuda sa compressed row format je dobra za smanjenje tablespace-a ali povećava opterećenje. Meni je bitnije ovo drugo, prostora imam.
Sa dynamic formatom, dobra je za tabele sa puno TEXT i BLOB kolona, što kod mene nije slučaj(većinom datetime i int)?
Da li mi se onda isplati prelazak?

 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
95.180.61.*

Sajt: mysql.rs


+2377 Profil

icon Re: Mysql backup - rotate24.05.2012. u 23:33 - pre 144 meseci
isplati ti se prelazak kako god okrenes

elem, sto se compress tice, nije fora sto smanjuje mesto na disku, fora je sto smanjuje IO!!!! to znaci da za 10% povecanja potrosnje CPU-a mozes da smanjis i do 90% potrosnju IO-a, a ja sam prilicno siguran da ti na serveru sedi neki quad core na 3 gigaherca koji nista ne racuna po ceo dan dok su ti u masini diskovi koji se muce i muce i muce i ako pogledas potrosnju na masini videces da ti je 10% potrosnja cpu-a a 90% potrosnja io-a kada ti je baza spora. sa compress-om ce ti skociti potrosnja cpu-a na 20% a io ce da padne na 20% tako da ce masina da bude "slobodna" (60% free) u poredjenju sa starom varijantom gde je bila zabodena .. posebno ako su ti losi upiti i mas dosta full table skenova, oni ce da rade po 4-5 puta brze
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
95.180.61.*

Sajt: mysql.rs


+2377 Profil

icon Re: Mysql backup - rotate24.05.2012. u 23:34 - pre 144 meseci
btw sto se mene tice, ko moze da priusti (ne gubi gzilione ako ima koji minut downtime-a) mislim da se isplati i skok na 5.6.xx jos je dev nije ga ali .. ja ga trosim na par mesta u produkciji i nisam primetio nikakve probleme (doduse na manje bitnim mestima gde nije frka ako se nesto dangne, no nista se jos nije dangnulo)
 
Odgovor na temu

[es] :: MySQL :: Mysql backup - rotate

[ Pregleda: 2797 | Odgovora: 16 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.