Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Backup baze - mišljenja i iskustva

[es] :: MySQL :: Backup baze - mišljenja i iskustva

Strane: < .. 1 2 3

[ Pregleda: 9674 | Odgovora: 59 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

tarla

Član broj: 15527
Poruke: 1648



+42 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 00:04 - pre 77 meseci
Ima opcije za sve kao i mysqldump.

Kako hodam po terenu na skoro svakom Win serveru ga nađem. Ili verzija za MySQL ili za SQL server...


 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15250
*.com
Via: [es] mailing liste

Sajt: mysql.rs


+2316 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 00:07 - pre 77 meseci
super, samo ga onda treba lepo iskonfigurisati
- da odradi dump/create
- da odradi lock
- da odradi flush logova
- da dumpne i trigere i rutine
- da uradi disable keys / insert / enable keys u sql-u
- da napravi "extended" sql (da insertuje po vise slogova odjednom)

[Ovu poruku je menjao bogdan.kecman dana 22.02.2014. u 01:21 GMT+1]
 
Odgovor na temu

after
Ajvanho, ING

Član broj: 276962
Poruke: 97
*.dynamic.sbb.rs.



+6 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 15:32 - pre 77 meseci
Citat:
bogdan.kecman: obavezno dodaj:

-e -K -F -x -R --dump-date --triggers


-x opcija zakljucava sve tabele u svim bazama na serveru tokom trajanja mysqldumpa, tako da moze biti nezgodno sa serverom koji ima nekoliko baza od po 10Gb npr. ili cak vise desetina velikih baza. Sa jednje strane to obezbedjuje kozistentnost izmedju baza ako se jedna aplikacija bazira na 2 ili 3 baze (pitanje i kolika je kozistentnost ako je mix myisam/innodb).
Dok je tu opciju bolje izbeci ako su baze nezavisne jedne od druge i samo se fizicki nalaze na istom serveru.
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15250
*.com
Via: [es] mailing liste

Sajt: mysql.rs


+2316 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 15:37 - pre 77 meseci
bez -x nemas konzistentan bekap
bekap koji nije konzistentan najcesce je beskoristan ili cak gore od toga
dakle ako ne znas 10000% sta radis - mora -x, ako znas sta radis ne
pitas na forumu kako da napravis bekap

ako hoces da nemas write lock koji traje tokom celog trajanja bekapa za
to postoje mogucnosti (spominjane vec) i za myisam i za innodb
 
Odgovor na temu

after
Ajvanho, ING

Član broj: 276962
Poruke: 97
*.dynamic.sbb.rs.



+6 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 15:53 - pre 77 meseci
Da, tacno. Ako nemas info o logici frontend strane i o samoj strukturi baza - da li je myisam, innodb, mix ima li bin logova, replikacije itd lockujes sve sa -x i ne razmisljas. Pa ako traje dugo ili pravi bilo kakve probleme, istrazis sistem prilagodis mysqldump ili postavis drugo resenje.

Imao sam slucaj da je kod klijenta system bio nedostupan 10-30 min svakog sata tj. 25-50% vremena sistem je bio nedostupan. Bila je postavljena kvazi-replikacija koje je isla na svaki sat vremena i gadjala drugi server tipa mysqldump -x .... | mysql .....
 
Odgovor na temu

tarla

Član broj: 15527
Poruke: 1648



+42 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 15:53 - pre 77 meseci
Ne znam da li sam spominjao ali Bdale Garbee i ja smo propustili let za Frankfurt zbog "redovnog" bekapa Hrvatskih carina... Preko 2h smo čekali na granici jer sistem nije bio u funkciji.

Komentar carinika je bio "Pa momče gdje ti živiš kad ne znaš da se Nedjeljom od 3:00 do 9:00 radi redovni bekap i da tada ne rade carinski terminali..."

Čisto ako pomislite da je vaš lock od 10 minuta puno :)


 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15250
*.com
Via: [es] mailing liste

Sajt: mysql.rs


+2316 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 15:57 - pre 77 meseci
bekap je zahebana stvar, vrlo cesto ne odradjeno kako treba, vrlo cesto
ne istestirano kako treba, vrlo cesto korisnik misli da ima bekap a onda
kad zatreba prc
 
Odgovor na temu

after
Ajvanho, ING

Član broj: 276962
Poruke: 97
*.dynamic.sbb.rs.



+6 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 16:08 - pre 77 meseci
Citat:
tarla: .......

Komentar carinika je bio "Pa momče gdje ti živiš kad ne znaš da se Nedjeljom od 3:00 do 9:00 radi redovni bekap i da tada ne rade carinski terminali..."


:D kod nas u javnim sluzbama je opste poznata: pao sistem i spusta se roletna


Inace kada se mysqldump-om iz verzija 5.6/5.7 gadjaju serveri nizih verzija 5.0/5.1/5.5 javlja se greska zbog global txn id pa mysqldump treba pustati sa disable opcijom za global tnx id.

mysqldump --set-gtid-purged=OFF .....
 
Odgovor na temu

SpizaGenije
Spiza Genije
Software Developer
Signus

Član broj: 247347
Poruke: 193
*.telrad.net.



+4 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 16:19 - pre 77 meseci
Citat:
tarla: Nedjeljom od 3:00 do 9:00 radi redovni bekap i da tada ne rade carinski terminali..."

Da mi je da vidim šta to oni bekapuju toliko...
Da mi je da vidim strukturu njihove baze...
Da mi je da vidim količinu podataka koja se tu nalazi...

Svojevremeno su kod nas u CIPS-u (pre deset godina, kada je sistem uspostavljen "da radi") imali sličan problem, ali je ubrzo posle toga rešen.

Citat:
bogdan.kecman: bekap je zahebana stvar, vrlo cesto ne odradjeno kako treba, vrlo cesto
ne istestirano kako treba, vrlo cesto korisnik misli da ima bekap a onda
kad zatreba prc

Nego... kako je sve ovo lepo Bogdan nabrojao. Čini mi se da je Tanjugova DB baš ovako "odrađena". I šlag na tortu, firma koja im je radila servis (tj. osoba koja je radila strukturu DB), mi na ovo pitanje daje sledeći odgovor:
Ja: Pa normalizacija vam je katastrofa. Samo vam je tabela user (primera radi) ispoštovala (jedva) 2NF. Ostalo, da vam server dopušta - bi se svelo na NFNF. Ko je radio ovo?
On: Pa ja!
Ja: Pa kako si to uspeo naterati da vam radi?!
On: Ja sam to, prijatelju, sve namestio po defaultu i to meni radi pos'o.
Ja: Šta si to namestio po defaultu?
On: Pa NORMALIZACIJU!
Ja: &/%#)/(&"$=)$()=
- I odustanem od posla sa njima.

O tome da nemaju nigde nijedan definisan indeks (ponavljam TANJUG-ova baza nema nijedan definisan indeks), neću ni da razglabam.

Da im pojedine tabele imaju VARCHAR za PK, ne smem ni da pomenem.

Elem, c/p tog njihovog servisa je sada i na našoj SRNI ako se ne varam... :p
Some people, when confronted with a problem, think: "I know, I'll use regular expressions."
Now they have two problems!
-Jamie Zawinsky
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15250
*.com
Via: [es] mailing liste

Sajt: mysql.rs


+2316 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 16:33 - pre 77 meseci
pazi bilo ko ko radi neki konsalting "na veliko" bi mogao da napise
knjigu o velikim sistemima i katastrofalnim problemima koje imaju ... ja
sam u nekom trenutku ventiliranja napisao onaj
http://www.mysql.rs/2009/10/manemoj/ post :D .. no pored svega sto ljudi
grese, kako ljudi za ooooooogromne pare "dizajniraju" resenja o cemu se
stvarno moze puno pricati, gde dalje ici od toga da je zbog nepoznavanja
kako radi db sistem nastao ceo nosql pravac za ljude koji ne umeju da
projektuju db ... nego, sto poceh, i pored svega toga, bekap je i dalje
najbitnija stvar.... situacija gde imate sistem koji kosta mnoogo
bubrega ako ne radi imate bekap sistem koji nikad nije proban !!!! dakle
neko je napravio bekap sistem i niko nikad nije probao da li taj bekap
radi .. vidjao sam sisteme koji prave dnevni i nedeljni bekap i cuvaju
zadnjih godinu dana bekapa i svi bekapi su im veliki par stotina bajtova
(poruka o gresci zipovana) i tako ljudi 2 godine "prave bekap" i kad im
je zatrebalo ... k333tah .. i onda im kazes, ali ljudi vi nemate bekap
imate tristotinjak praznih fajlova, "ok, but we are paying you now to
sort out the problem, can you get our data back from these files, we
made backup every day" - i onda vlasnik te firme pise hate mail lariju
kao vas servis ne valja nista vi ste prevaranti, mi smo pukli milione ...

zato izmedju ostalog ja kazem -x, pa ti ako 100% znas sta radis a ti ga
obrisi ako smes :D a bekap traje koliko traje ...

vec smo spominjali, ne postoji danas bolje resenje za mysql bekap od
MEB-a (+ ja volim bar jednom nedeljno mysqldump + binary log). jeste meb
nije dzabe, tj dzabe je ali mora se ima subscription za enterprise,
jeste subsription za enterprise je 5k$ godisnje, hoces da mi kazes da ti
data ne vredi 5k$ godisnje (da ne racunamo da za te pare dobijes i MEM i
enterprise server sa thread pool-om i 24/7 support i konsalting od ljudi
koje da placas direktno uzeli bi ti minimum 500$ na sat, znaci samo
bekap da racunas pa isplati se) ..

inace ako se dobro secam carina je bekap radila na trake, to je jedan od
razloga sto traje dugo posto
1. sve se zalokuje
2. ide bekap na traku
3. radi se testiranje bekapa
4. unlock

kakva god da je baza, to traje .. posebno deo sa trakama
 
Odgovor na temu

tarla

Član broj: 15527
Poruke: 1648



+42 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 16:39 - pre 77 meseci
I bekap nikada slati na udaljenu lokaciju. Uvijek držati na istoj mašini gdje je i baza i to po mogućnosti na istoj particiji ... Ako postoji mogućost rotacije bekapa, dosta je 2 dana ... #NOT


 
Odgovor na temu

caca

Član broj: 14314
Poruke: 30
*.dynamic.sbb.rs.



Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 17:02 - pre 77 meseci
Ne svidja mi se sto se u bat fajlu vidi korisnicko ime i password.
Da li se to smesta u my.ini pa se onda ne navodi u bat fajlu ?

Kako ga napisati ?

Bogdane primenicu sve opcije koje si pomenuo, ona je bila prva varijanta, samo da vidim kako to odradjuje.

Pozdrav


 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15250
*.com
Via: [es] mailing liste

Sajt: mysql.rs


+2316 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 17:07 - pre 77 meseci
mozes u ini da stavis user i pass ali to ti je windoza, dal ces da
stavis user/pass u .bat ili u ini svejedno ti je, i jedan i drugi fajl
su vidljivi golim okom. ne znam dal onaj ftpdamp ume da sacuva to u
nekom "golim okom ne citljivom formatu"
 
Odgovor na temu

SpizaGenije
Spiza Genije
Software Developer
Signus

Član broj: 247347
Poruke: 193
*.telrad.net.



+4 Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 17:11 - pre 77 meseci
Citat:
caca: Ne svidja mi se sto se u bat fajlu vidi korisnicko ime i password.


Ako ti se DB server vrti na mašini kojoj mogu pristupiti samo osobe koje svakako znaju šifru DB servera, onda ne'a veze.

Ako ti je ta mašina lako dostupna (uvek i svakome), zakopaj taj .bat negde gde ga niko neće tražiti. Tipa C:\\Windows\nesto\nesto_drugo\nesto_dvadesetpeto

Kao što ti je Bogdan već rekao, .ini je vidljiv golim okom isto kao i taj tvoj .bat
Some people, when confronted with a problem, think: "I know, I'll use regular expressions."
Now they have two problems!
-Jamie Zawinsky
 
Odgovor na temu

caca

Član broj: 14314
Poruke: 30
*.dynamic.sbb.rs.



Profil

icon Re: Backup baze - mišljenja i iskustva22.02.2014. u 18:35 - pre 77 meseci
Kod MySqlBackupFTP u advanced settings sam dodala neke opcije kod strukture ,
dodala sam sliku da vidite da li jos nesto treba da izaberem.

Kod vracanja podataka sada ne moram rucno da radim drop.

Hvala svima



[Ovu poruku je menjao caca dana 23.02.2014. u 10:01 GMT+1]
Prikačeni fajlovi
 
Odgovor na temu

farmaceut
Apoteka
Banja Luka

Član broj: 182739
Poruke: 55
188.124.195.*



+30 Profil

icon Re: Backup baze - mišljenja i iskustva24.02.2014. u 00:15 - pre 77 meseci
Evo jedno "sasavo" rjesenje za backup, koje upravo radi dok ovo pisem:
(server ima i "pravu" repliakciju na drugi server, ali od viska glava ne boli...)

Uzeo sam nedavno externi HDD USB 3 i na njemu podigao VirtualBox sa CentOS/MySQL, podesio ga kao "Slave".
Svakih par dana navece ukljucim virtuelnu masinu i pustim je da "sustigne" mastera. (na konkretnom "loadu" to traje ~30-40min)
Na kraju, da bih bio siguran, skriptom pustim checksum nad par tabela.

Jest malo glupo, i jest VM, ali meni daje neku dodatnu "sigurnost" da imam podatke kod sebe, a na jednostavan nacin.
A mozda moze dati nekome ideju za rjesenje problema.
 
Odgovor na temu

tarla

Član broj: 15527
Poruke: 1648



+42 Profil

icon Re: Backup baze - mišljenja i iskustva24.02.2014. u 08:09 - pre 77 meseci
Citat:
caca:
Kod MySqlBackupFTP u advanced settings sam dodala neke opcije kod strukture ,
....


Gore desno imaš Export option link, Tu provjeri da je uključen Lock tabela (po defaultu jeste)



 
Odgovor na temu

caca

Član broj: 14314
Poruke: 30
*.dynamic.sbb.rs.



Profil

icon Re: Backup baze - mišljenja i iskustva24.02.2014. u 09:58 - pre 77 meseci
Tarla
proverila sam uključen je Lock tabela .

HVALA !!

 
Odgovor na temu

after
Ajvanho, ING

Član broj: 276962
Poruke: 97
*.dynamic.sbb.rs.



+6 Profil

icon Re: Backup baze - mišljenja i iskustva04.10.2014. u 16:45 - pre 69 meseci
Skoro sam video da je Percona u proteklih nekoliko meseci nastavila razvoj na origin mydumper skripti za paralelni sql backup/restore:


https://launchpad.net/mydumper/+series

http://www.percona.com/blog/20...rmance-and-usability-features/


Tako da bi to trebalo da znaci da jedan veoma upotrebljiv alat moze sada da se koristi i na MySQL 5.5/5.6. Verovatno isto vazi i za MySQL 5.7, mada samu 7-icu nisam jos probao, niti sam nesto nasao neke utiske drugih o 5.7. Doduse nisam nesto ni trazio :).

Pozdrav.
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15250
*.dynamic.sbb.rs.

Sajt: mysql.rs


+2316 Profil

icon Re: Backup baze - mišljenja i iskustva04.10.2014. u 20:07 - pre 69 meseci
dumper je keva .. cela ideja kako radi je mnogo dobra .. e sad nije najbrze sto moze ali je po meni odlicno resenje posto dobijes citljiv bekap a relativno brz

sto se tice 5.7 ne verujem da bilo sta tu ima razlicito vezano za mydumper .. a sto se tice samog 5.7 ja ga teram vec par meseci u produkciji i vrlo sam zadovoljan .. ono sto je meni najveci wow faktor za 5.7 je sto su neki parametri postali dinamicni i to sto je optimizer mnooooooooooogo bolji od 5.5/5.6
 
Odgovor na temu

[es] :: MySQL :: Backup baze - mišljenja i iskustva

Strane: < .. 1 2 3

[ Pregleda: 9674 | Odgovora: 59 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.