Backup baze - mišljenja i iskustva

Ima opcije za sve kao i mysqldump.

Kako hodam po terenu na skoro svakom Win serveru ga nađem. Ili verzija za MySQL ili za SQL server...

Potpis

super, samo ga onda treba lepo iskonfigurisati
- da odradi dump/create
- da odradi lock
- da odradi flush logova
- da dumpne i trigere i rutine
- da uradi disable keys / insert / enable keys u sql-u
- da napravi "extended" sql (da insertuje po vise slogova odjednom)

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

-x opcija zakljucava sve tabele u svim bazama na serveru tokom trajanja mysqldumpa, tako da moze biti nezgodno sa serverom koji ima nekoliko baza od po 10Gb npr. ili cak vise desetina velikih baza. Sa jednje strane to obezbedjuje kozistentnost izmedju baza ako se jedna aplikacija bazira na 2 ili 3 baze (pitanje i kolika je kozistentnost ako je mix myisam/innodb).
Dok je tu opciju bolje izbeci ako su baze nezavisne jedne od druge i samo se fizicki nalaze na istom serveru.

bez -x nemas konzistentan bekap
bekap koji nije konzistentan najcesce je beskoristan ili cak gore od toga
dakle ako ne znas 10000% sta radis - mora -x, ako znas sta radis ne
pitas na forumu kako da napravis bekap

ako hoces da nemas write lock koji traje tokom celog trajanja bekapa za
to postoje mogucnosti (spominjane vec) i za myisam i za innodb

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Da, tacno. Ako nemas info o logici frontend strane i o samoj strukturi baza - da li je myisam, innodb, mix ima li bin logova, replikacije itd lockujes sve sa -x i ne razmisljas. Pa ako traje dugo ili pravi bilo kakve probleme, istrazis sistem prilagodis mysqldump ili postavis drugo resenje.

Imao sam slucaj da je kod klijenta system bio nedostupan 10-30 min svakog sata tj. 25-50% vremena sistem je bio nedostupan. Bila je postavljena kvazi-replikacija koje je isla na svaki sat vremena i gadjala drugi server tipa mysqldump -x .... | mysql .....

Ne znam da li sam spominjao ali Bdale Garbee i ja smo propustili let za Frankfurt zbog "redovnog" bekapa Hrvatskih carina... Preko 2h smo čekali na granici jer sistem nije bio u funkciji.

Komentar carinika je bio "Pa momče gdje ti živiš kad ne znaš da se Nedjeljom od 3:00 do 9:00 radi redovni bekap i da tada ne rade carinski terminali..."

Čisto ako pomislite da je vaš lock od 10 minuta puno :)

Potpis

bekap je zahebana stvar, vrlo cesto ne odradjeno kako treba, vrlo cesto
ne istestirano kako treba, vrlo cesto korisnik misli da ima bekap a onda
kad zatreba prc

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

:D kod nas u javnim sluzbama je opste poznata: pao sistem i spusta se roletna


Inace kada se mysqldump-om iz verzija 5.6/5.7 gadjaju serveri nizih verzija 5.0/5.1/5.5 javlja se greska zbog global txn id pa mysqldump treba pustati sa disable opcijom za global tnx id.

mysqldump --set-gtid-purged=OFF .....

Da mi je da vidim šta to oni bekapuju toliko...
Da mi je da vidim strukturu njihove baze...
Da mi je da vidim količinu podataka koja se tu nalazi...

Svojevremeno su kod nas u CIPS-u (pre deset godina, kada je sistem uspostavljen "da radi") imali sličan problem, ali je ubrzo posle toga rešen.


Nego... kako je sve ovo lepo Bogdan nabrojao. Čini mi se da je Tanjugova DB baš ovako "odrađena". I šlag na tortu, firma koja im je radila servis (tj. osoba koja je radila strukturu DB), mi na ovo pitanje daje sledeći odgovor:
Ja: Pa normalizacija vam je katastrofa. Samo vam je tabela user (primera radi) ispoštovala (jedva) 2NF. Ostalo, da vam server dopušta - bi se svelo na NFNF. Ko je radio ovo?
On: Pa ja!
Ja: Pa kako si to uspeo naterati da vam radi?!
On: Ja sam to, prijatelju, sve namestio po defaultu i to meni radi pos'o.
Ja: Šta si to namestio po defaultu?
On: Pa NORMALIZACIJU!
Ja: &/%#)/(&"$=)$()=
- I odustanem od posla sa njima.

O tome da nemaju nigde nijedan definisan indeks (ponavljam TANJUG-ova baza nema nijedan definisan indeks), neću ni da razglabam.

Da im pojedine tabele imaju VARCHAR za PK, ne smem ni da pomenem.

Elem, c/p tog njihovog servisa je sada i na našoj SRNI ako se ne varam... :p

Potpis

Some people, when confronted with a problem, think: "I know, I'll use regular expressions."
Now they have two problems!
-Jamie Zawinsky

pazi bilo ko ko radi neki konsalting "na veliko" bi mogao da napise
knjigu o velikim sistemima i katastrofalnim problemima koje imaju ... ja
sam u nekom trenutku ventiliranja napisao onaj
http://www.mysql.rs/2009/10/manemoj/ post :D .. no pored svega sto ljudi
grese, kako ljudi za ooooooogromne pare "dizajniraju" resenja o cemu se
stvarno moze puno pricati, gde dalje ici od toga da je zbog nepoznavanja
kako radi db sistem nastao ceo nosql pravac za ljude koji ne umeju da
projektuju db ... nego, sto poceh, i pored svega toga, bekap je i dalje
najbitnija stvar.... situacija gde imate sistem koji kosta mnoogo
bubrega ako ne radi imate bekap sistem koji nikad nije proban !!!! dakle
neko je napravio bekap sistem i niko nikad nije probao da li taj bekap
radi .. vidjao sam sisteme koji prave dnevni i nedeljni bekap i cuvaju
zadnjih godinu dana bekapa i svi bekapi su im veliki par stotina bajtova
(poruka o gresci zipovana) i tako ljudi 2 godine "prave bekap" i kad im
je zatrebalo ... k333tah .. i onda im kazes, ali ljudi vi nemate bekap
imate tristotinjak praznih fajlova, "ok, but we are paying you now to
sort out the problem, can you get our data back from these files, we
made backup every day" - i onda vlasnik te firme pise hate mail lariju
kao vas servis ne valja nista vi ste prevaranti, mi smo pukli milione ...

zato izmedju ostalog ja kazem -x, pa ti ako 100% znas sta radis a ti ga
obrisi ako smes :D a bekap traje koliko traje ...

vec smo spominjali, ne postoji danas bolje resenje za mysql bekap od
MEB-a (+ ja volim bar jednom nedeljno mysqldump + binary log). jeste meb
nije dzabe, tj dzabe je ali mora se ima subscription za enterprise,
jeste subsription za enterprise je 5k$ godisnje, hoces da mi kazes da ti
data ne vredi 5k$ godisnje (da ne racunamo da za te pare dobijes i MEM i
enterprise server sa thread pool-om i 24/7 support i konsalting od ljudi
koje da placas direktno uzeli bi ti minimum 500$ na sat, znaci samo
bekap da racunas pa isplati se) ..

inace ako se dobro secam carina je bekap radila na trake, to je jedan od
razloga sto traje dugo posto
1. sve se zalokuje
2. ide bekap na traku
3. radi se testiranje bekapa
4. unlock

kakva god da je baza, to traje .. posebno deo sa trakama

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

I bekap nikada slati na udaljenu lokaciju. Uvijek držati na istoj mašini gdje je i baza i to po mogućnosti na istoj particiji ... Ako postoji mogućost rotacije bekapa, dosta je 2 dana ... #NOT

Potpis

Ne svidja mi se sto se u bat fajlu vidi korisnicko ime i password.
Da li se to smesta u my.ini pa se onda ne navodi u bat fajlu ?

Kako ga napisati ?

Bogdane primenicu sve opcije koje si pomenuo, ona je bila prva varijanta, samo da vidim kako to odradjuje.

Pozdrav

mozes u ini da stavis user i pass ali to ti je windoza, dal ces da
stavis user/pass u .bat ili u ini svejedno ti je, i jedan i drugi fajl
su vidljivi golim okom. ne znam dal onaj ftpdamp ume da sacuva to u
nekom "golim okom ne citljivom formatu"

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Ako ti se DB server vrti na mašini kojoj mogu pristupiti samo osobe koje svakako znaju šifru DB servera, onda ne'a veze.

Ako ti je ta mašina lako dostupna (uvek i svakome), zakopaj taj .bat negde gde ga niko neće tražiti. Tipa C:\\Windows\nesto\nesto_drugo\nesto_dvadesetpeto

Kao što ti je Bogdan već rekao, .ini je vidljiv golim okom isto kao i taj tvoj .bat

Potpis

Some people, when confronted with a problem, think: "I know, I'll use regular expressions."
Now they have two problems!
-Jamie Zawinsky

Kod MySqlBackupFTP u advanced settings sam dodala neke opcije kod strukture ,
dodala sam sliku da vidite da li jos nesto treba da izaberem.

Kod vracanja podataka sada ne moram rucno da radim drop.

Hvala svima

Evo jedno "sasavo" rjesenje za backup, koje upravo radi dok ovo pisem:
(server ima i "pravu" repliakciju na drugi server, ali od viska glava ne boli...)

Uzeo sam nedavno externi HDD USB 3 i na njemu podigao VirtualBox sa CentOS/MySQL, podesio ga kao "Slave".
Svakih par dana navece ukljucim virtuelnu masinu i pustim je da "sustigne" mastera. (na konkretnom "loadu" to traje ~30-40min)
Na kraju, da bih bio siguran, skriptom pustim checksum nad par tabela.

Jest malo glupo, i jest VM, ali meni daje neku dodatnu "sigurnost" da imam podatke kod sebe, a na jednostavan nacin.
A mozda moze dati nekome ideju za rjesenje problema.

Gore desno imaš Export option link, Tu provjeri da je uključen Lock tabela (po defaultu jeste)

Potpis

Tarla
proverila sam uključen je Lock tabela .

HVALA !!

Skoro sam video da je Percona u proteklih nekoliko meseci nastavila razvoj na origin mydumper skripti za paralelni sql backup/restore:


https://launchpad.net/mydumper/+series

http://www.percona.com/blog/20...rmance-and-usability-features/


Tako da bi to trebalo da znaci da jedan veoma upotrebljiv alat moze sada da se koristi i na MySQL 5.5/5.6. Verovatno isto vazi i za MySQL 5.7, mada samu 7-icu nisam jos probao, niti sam nesto nasao neke utiske drugih o 5.7. Doduse nisam nesto ni trazio :).

Pozdrav.