Backup baze - mišljenja i iskustva

Pa vidi, mi smo morali da rešimo problem sa distribuiranim sistemom u vreme kada su modemi radili na 9600 bauda, a nismo imali para za replikaciju. Ono što smo napravili, strašno je ličilo na ono što je mnogo kasnije prodavao IBM kao MQ. U principu, replikaciju smo rešili sistemom perzistentnih redova, tako što je sistem baferovao poruke i isporučivao ih asinhrono, onda kada je veza bila moguća.

Ne mora da bude NoSQL, može jednostavno da napravi proces koji čuči na serveru i radi upis podataka u MySQL bazu. Kada treba da počne bekap (a nije mu na raspolaganju meb, što je najbolje rešenje), skripta za bekap treba da pošalje signal procesu za pisanje, posle kojeg on pravi fajlove od podataka koji mu od tog momenta pristižu. Kada se bekap završi, onda novi signal pokrene prepisivanje iz fajla, pa sve dok ne pristigne do real time podataka.

@djoka_l
- Automatizacija dinamičkih mašina u procesnoj industriji.
Mislim da svi znamo šta to znači, pa da ne lutamo od teme.

E sada, ako je čitav sistem već (po default-u) automatizovan, ali star nekih 20+ godina?

Mi želimo da modernizujemo taj sistem i usput da zaradimo neku kintu! ;)

Znači, nema analognog mernog uređaja skopčanog na mernu ćeliju (ommetar s'kazaljku označen tako da umesto otpora pokazuje grame/kilograme/tone), a kome se graničnik fizički podesi tako da pošalje dalje analogni signal (strujni/naponski) na neki relej, koji opet na osnovu dobijene vrednosti okine dalje negde nešto drugo...

Nego, ubaci PIC, isprogramiraj ga tako da na osnovu nekog ulaza dâ neki izlaz, a sve se to kontroliše preko neke aplikacije... E sada, što se tiče same aplikacije, na osnovu unesenih vrednosti (recepture), ona šalje signal PIC-u koji odradi šta treba da odradi... Hebe se i mašini i meni i onom radniku za mašinom da li ta aplikacija šalje sve to na server, ili ne. Sve to može da radi i u offline modu.

Upravi te firme je bitno da zna da je utrošila 100t kukuruza, 50t ječma i 1t aditiva, te dobila cca. 150t koncentrata za piliće (recimo)...

Tehnolog koji prati proizvodnju je ranije davao zadatak operateru da za svaku novu "turu" upisuje ručno (u blokče) koliko je čega smućkao, kako bi on izvršio kontrolu, te doveo kvalitet finalnog proizvoda na onaj nivo, na kom i treba da bude.

Sada, zbog upisa tih vrednosti direktno u DB, on može da ima real time pregled samog procesa.

Zato sam i rekao da mi i nije toliko bitno za ove poslove da li sam jednom ili dva puta godišnje zagubio (ako sam zagubio) 15 min. podataka usled nekog kreša i da firma neće imati nikakve posledice...

Dalje... Upravi se hebe da li će im radnici određivati sve ručno, ili će imati automatizovan proces. Oni gledaju rezultate (u kešu) nakon svakog meseca/kvartala/godine. Ako će im par hiljada € povećati produktivnost, tako da oni u narednih godinu - dve pokriju troškove tog ulaganja, a kasnije ostvare i veću dobit - modernizovaće proces. Ako mi tražimo više da bi napravili kako valja (i treba), od tog posla nema ništa.

S tim što će nas iscimati i tražiti pare nazad ako smo uradili nedobro (zato što oni nisu hteli uložiti), a oni pogubili podatke za koje im generalno puca patka, a naš je problem ako se odmah u startu ne ogradimo nekim papirom, potpisom i pečatom...



Što se tiče samog bekapa i načina na koji se on vrši, ovo nije jedina oblast koju pokrivamo. Radimo i tamo gde su svi podaci i njihova konzistentnost mnoooogo važniji nego u navedenom primeru.

I opet se nemo'š iscimati za dodatnu mašinu i storidž... pa ni za hebeni kvalitetniji UPS koji će te držati online nekoliko minuta do pokretanja agregata. Dovoljno im da imaju neko go*no da im pegla napon ako ima kakvih varijacija i to je to.


I opet odlutah... i opet se vraćam nazad na temu:

Znači, tema nije Kako da odradim bekap baze u mom konkretnom slučaju, za moj konkretan posao, nego Backup baze - mišljenja i iskustva :D

Hoću da znam šta š'čim mogu i kako, te koje su mi opcije, zato što želim da učim i da se dalje usavršavam. I ja i mnogi drugi na ovom podforumu. :)

Potpis

Some people, when confronted with a problem, think: "I know, I'll use regular expressions."
Now they have two problems!
-Jamie Zawinsky

Tako je zamišljeno, tako i radi...

Ali, ako ja mogu da prođem bez nekog dugotrajnog lock-a, nego mogu da bekapujem, a da mi to ne utiče mnogo na proces, onda lepo proguglam, vidim šta se sve može (otprilike) i otvorim temu da čujem i tuđa mišljenja i iskustva! :)

Potpis

Some people, when confronted with a problem, think: "I know, I'll use regular expressions."
Now they have two problems!
-Jamie Zawinsky

Mozes da probas i sa mydumper(myloader). Funkcionise kao mysqldump koji radi paralelno. Koristio sam ranije vise puta i backup je brzi do nekih 5x dok restore zavisno od skrukture baze i rasporeda velicina tabela se ubrzava cak do 10-20 puta! Inace mydumper je nastao od Maatkit skripti za paralelni backup/restore koje su bile pune bagova i nisu dalje razvijane od strane maatkit-a. Bagovi kod originalnih skripti su ispravljeni i nastao je Mydumper. Neznam da li se u medjuvremenu mydumper razvijao dalje i da li je pratio razvoj MySQL-a - 5.5/5.6/5.7.

Posto je Percona uzela ostale originalne Maatkit skripte i razvija ih dalje pod svojim percona tools, mozda nesto slicno razvijaju i sa paralelnim logickim backup/restore. Price oko paralelnog logickog backup/restore i mane mysqldumpa kao jedinog tool-a za sql backup su nesto sto postoji od kada postoji mysqldump.

Verovatno nije tako jednostavno implementirati u oficijelni MySQL/Percona server, cim tako nesto jos ne postoji.

Inace mysqldump jednom dnevno + bin logovi sasvim fino zavrsava posao. Jos bolje ako postoji i replikacija.

Vidiš, tu je problem... Kod nas je sve na 5.5/5.6... Ako i imamo negde nešto na 5.1, te firme smo do sada i zaboravili. Valjda im prethodna rešenja i dalje rade posao bez problema! :)


Tako nekako... :D


No, da zamrsimo malo temu... Kako bi to uradio profi, sa full pro alatima i onako 'utopijskim' unlimited sredstvima?

Recimo to ovako... @Bogdane i ostali sa sličnim iskustvom: Kako biste se vi igrali, kada bi vam dali? :D

Potpis

Some people, when confronted with a problem, think: "I know, I'll use regular expressions."
Now they have two problems!
-Jamie Zawinsky

mysqldumper je domasovo cedo no kada je domas otisao od nas u fb
prilicno je batalio odrzavanje svojih prilicno dobri "side alata" tako
je i mydumper izumro .. odlicna ideja ali nezavrsena

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Ja sam ti prosao proces za Silver partnera. Trebalo mi je za ASFU za knjigovodstvenu aplikaciju. (inace nisu davali ASFU za "silver", ali su nam progledali kroz prste.... ) Proceduru prodjes sa Ruminima, a placas ovim u Oracle Sarajevo...
Obrati se njihovoj prodaji, u to vrijeme je bila neka Cristina, pa Loarine, pa Oana.... sad ne znam ni ja ko je aktuelan, izgleda da ih mijenjaju ko carape...

Procedura pregovaranja oko cijene je bilo telefonsko nadmudrivanje, i na kraju smo dogovorili procent od cijene applikacije, ~11%, ( kada sam "zaprjetio" MS SQL Expressom.... :) ) Poslije toga potpises hrpu papira, ugovore (na engleskom i srpskom), preuzmes obavezu tromjesjecnih izvjestaja (pravi smor) i sl.

Na kraju, kada sam sve to rijesio - promjenimo poslovnu logiku, te umjesto prodaje aplikacije prebacimo se na "hosting" varijantu.... pa im sad saljem prazan izvjestaj o prodaji.... nema veze, onaj logo "Oracle Silver partner" na memorandumu vrijedi godisnje clanarine :) a ko zna sta ce biti u buducnosti.

Pomoc oko backup mysql baze sa mysqlhotcopy na windows

Radim sa mysqlserver 5.5 sa myIsam tabelama.
Htela bih da radim backup sa mysqlhotcopy.

mysqlhotcopy postoji na ..\mysqlServer5.5/bin.

Istalirala sam Perl sa stranice ww.activestate.com/products/Activeperl.

Kada pozovem iz dos prompta mysqlhotcopy javlja poruku
`mysqlhotcopy` iz not recognizeed as an internal or external command...

Kako ga ne vidi?
Gde gresim? Da li treba jos nesto uraditi ?.

Hocu da napravim bat fajl za backup pomocu mysqlhotcopy.

Pozdrav

zasto 2014 godine myisam tabele pobogu ?

ne mozes iz command prompt-a da pozoves mysqlhotcopy na windozi, vec
moras da pozoves perl.exe sa parametrom da startuje taj mysqlhotcopy ...
no ozbiljno porazmisli, mysql na windozi u kombinaciji sa myisam
tabelama ti je problem u najavi

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Pravim dodatne programe za mysql bazu sa takvom organizacijom
Za sada je tako.

Koji je to parametar ?
Upravo sada to istrazujem

kopirala sam mysqlhotcopy na dir c:\perl\eg

pa sam u command prompt pisala

d:\perl c:\perl\eg\mysqlhotcopy -u korisnik -ppass imeBaze d:\arhiva

i kaze da ne moze da otvori perl script

Hvala na strpljenju

nije hotcopy generalno podrzan na windozi, ako pravis neki svoj bekap
sistem najbolje ti je da se okacis na mysql, uradis "flush tables with
read lock;" i onda pustis shadow copy da odradi kopiranje i onda "unlock
tables;" (to je vise manje ono sto i hotcopy radi samo na linux-u) ...

e sad, mozda ga nabudzis sa perlom za windozu .. ja licno nisam nikad
probao ali .. cak i ako proradi, hotcopy na windozi nije zvanicno
podrzan tako da se ja ne bi opustio sa tim resenjem, ja kad ga pokrenem
kuka mi da nema dbi instaliran u perl-u an windozi


tako da samo vidi da ti je perl kompletan i mozda ce i da radi :)

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

How to Shoot Yourself in the Foot with Perl?
- You shoot yourself in the foot, but nobody can understand how you did it. Six months later, neither can you.

Potpis

I meni je to palo na pamet....

Windows + MySQL + MyISAM + Active Perl....

You foot your self in the shoot.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Htela sam da napravim bat fajl koji bi korisnik koristio za pravljenje rezervne kopije.
Za takav slucaj koja backup je najbolji ?

Hvala na strpljenju

obzirom da je windoza u pitanju, u taj bat bi ja stavio pozivanje
mysqldump-a

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Evo nešto na brzaka:


Znači, otvoriš bilo koji tekstualni editor (notepad recimo) i c/p ovo iznad... Snimiš dokument kao 'backup.bat' i voila! :D

Elem, još jedna mnogo bitna stvar:

je putanja do mysqldump-a... ako ta putanja ima neki prazan karakter tipa

.bat file neće da radi, pa ti treba malo dodatne gimnastike

Potpis

Some people, when confronted with a problem, think: "I know, I'll use regular expressions."
Now they have two problems!
-Jamie Zawinsky

obavezno dodaj:

-e -K -F -x -R --dump-date --triggers

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

http://mysqlbackupftp.com/

Potpis

Napravila sam dva bat fajla

1. cuvaj.bat

mysqldump --opt -u user -pPass imeBaza > D:\arhiva\imebaze.sql

Ovo radi

2. vrati.bat

mysql -u user -pPass imeBaza < D:\arhiva\imebaze.sql

Prilikom vracanja podataka preko vrati.bat podaci u bazi su bili
overwrite sa podacima iz imebaze.sql sto sam i htela.

i ovo radi.

------------------

Instalirala sam i mysqlbackupftp i napravila backup baze.
Ovaj backup je super cak u imenu baze pamti datum i vreme
i ima dosta drugih pogodnosti

Kod mysqlbackupftp nisam nasla kako bi vratila bazu iz sql
pa sam unzip sql i napravila drugi bat vrati1.bat

ali on mi vraca sledecu gresku
ERROR 1062(23000) at line 70: Duplicate entry `11940` for key `primary`

Ovde nije hteo da uradi overwrite !!

Kako se vraca baza ako se backup preko mysqlbackupftp ??

Zahvaljujem na odgovorima

mysqldump normalno uradi drop table if exist tako da ti prvo obrise svu
datu pa insertuje, mysqlbackupftp ne dodaje drop u sql tako da prvo
moras da odradis rucno drop svega pa onda ... nisam koristio
mysqlbackupftp (nije bas preterano koristan) ali verovatno ima opcija da
doda drop-ove u sql koji generise

inace --opt nije dovoljno za konzistentan bekap sa mysqldump, pogledaj
opcije koje sam ti napisao prethodno

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/