Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Backup baze - mišljenja i iskustva

[es] :: MySQL :: Backup baze - mišljenja i iskustva

Strane: 1 2 3

[ Pregleda: 10748 | Odgovora: 59 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

djoka_l
Beograd

Član broj: 56075
Poruke: 3445

Jabber: djoka_l


+1462 Profil

icon Re: Backup baze - mišljenja i iskustva13.02.2014. u 12:13 - pre 123 meseci
Pa vidi, mi smo morali da rešimo problem sa distribuiranim sistemom u vreme kada su modemi radili na 9600 bauda, a nismo imali para za replikaciju. Ono što smo napravili, strašno je ličilo na ono što je mnogo kasnije prodavao IBM kao MQ. U principu, replikaciju smo rešili sistemom perzistentnih redova, tako što je sistem baferovao poruke i isporučivao ih asinhrono, onda kada je veza bila moguća.

Ne mora da bude NoSQL, može jednostavno da napravi proces koji čuči na serveru i radi upis podataka u MySQL bazu. Kada treba da počne bekap (a nije mu na raspolaganju meb, što je najbolje rešenje), skripta za bekap treba da pošalje signal procesu za pisanje, posle kojeg on pravi fajlove od podataka koji mu od tog momenta pristižu. Kada se bekap završi, onda novi signal pokrene prepisivanje iz fajla, pa sve dok ne pristigne do real time podataka.
 
Odgovor na temu

SpizaGenije
Spiza Genije
Software Developer
Signus

Član broj: 247347
Poruke: 193
*.telrad.net.



+4 Profil

icon Re: Backup baze - mišljenja i iskustva13.02.2014. u 12:59 - pre 123 meseci
@djoka_l
- Automatizacija dinamičkih mašina u procesnoj industriji.
Mislim da svi znamo šta to znači, pa da ne lutamo od teme.

E sada, ako je čitav sistem već (po default-u) automatizovan, ali star nekih 20+ godina?

Mi želimo da modernizujemo taj sistem i usput da zaradimo neku kintu! ;)

Znači, nema analognog mernog uređaja skopčanog na mernu ćeliju (ommetar s'kazaljku označen tako da umesto otpora pokazuje grame/kilograme/tone), a kome se graničnik fizički podesi tako da pošalje dalje analogni signal (strujni/naponski) na neki relej, koji opet na osnovu dobijene vrednosti okine dalje negde nešto drugo...

Nego, ubaci PIC, isprogramiraj ga tako da na osnovu nekog ulaza dâ neki izlaz, a sve se to kontroliše preko neke aplikacije... E sada, što se tiče same aplikacije, na osnovu unesenih vrednosti (recepture), ona šalje signal PIC-u koji odradi šta treba da odradi... Hebe se i mašini i meni i onom radniku za mašinom da li ta aplikacija šalje sve to na server, ili ne. Sve to može da radi i u offline modu.

Upravi te firme je bitno da zna da je utrošila 100t kukuruza, 50t ječma i 1t aditiva, te dobila cca. 150t koncentrata za piliće (recimo)...

Tehnolog koji prati proizvodnju je ranije davao zadatak operateru da za svaku novu "turu" upisuje ručno (u blokče) koliko je čega smućkao, kako bi on izvršio kontrolu, te doveo kvalitet finalnog proizvoda na onaj nivo, na kom i treba da bude.

Sada, zbog upisa tih vrednosti direktno u DB, on može da ima real time pregled samog procesa.

Zato sam i rekao da mi i nije toliko bitno za ove poslove da li sam jednom ili dva puta godišnje zagubio (ako sam zagubio) 15 min. podataka usled nekog kreša i da firma neće imati nikakve posledice...

Dalje... Upravi se hebe da li će im radnici određivati sve ručno, ili će imati automatizovan proces. Oni gledaju rezultate (u kešu) nakon svakog meseca/kvartala/godine. Ako će im par hiljada € povećati produktivnost, tako da oni u narednih godinu - dve pokriju troškove tog ulaganja, a kasnije ostvare i veću dobit - modernizovaće proces. Ako mi tražimo više da bi napravili kako valja (i treba), od tog posla nema ništa.

S tim što će nas iscimati i tražiti pare nazad ako smo uradili nedobro (zato što oni nisu hteli uložiti), a oni pogubili podatke za koje im generalno puca patka, a naš je problem ako se odmah u startu ne ogradimo nekim papirom, potpisom i pečatom...



Što se tiče samog bekapa i načina na koji se on vrši, ovo nije jedina oblast koju pokrivamo. Radimo i tamo gde su svi podaci i njihova konzistentnost mnoooogo važniji nego u navedenom primeru.

I opet se nemo'š iscimati za dodatnu mašinu i storidž... pa ni za hebeni kvalitetniji UPS koji će te držati online nekoliko minuta do pokretanja agregata. Dovoljno im da imaju neko go*no da im pegla napon ako ima kakvih varijacija i to je to.


I opet odlutah... i opet se vraćam nazad na temu:

Znači, tema nije Kako da odradim bekap baze u mom konkretnom slučaju, za moj konkretan posao, nego Backup baze - mišljenja i iskustva :D

Hoću da znam šta š'čim mogu i kako, te koje su mi opcije, zato što želim da učim i da se dalje usavršavam. I ja i mnogi drugi na ovom podforumu. :)
Some people, when confronted with a problem, think: "I know, I'll use regular expressions."
Now they have two problems!
-Jamie Zawinsky
 
Odgovor na temu

SpizaGenije
Spiza Genije
Software Developer
Signus

Član broj: 247347
Poruke: 193
*.telrad.net.



+4 Profil

icon Re: Backup baze - mišljenja i iskustva13.02.2014. u 13:09 - pre 123 meseci
Citat:
djoka_l:Ne mora da bude NoSQL, može jednostavno da napravi proces koji čuči na serveru i radi upis podataka u MySQL bazu. Kada treba da počne bekap (a nije mu na raspolaganju meb, što je najbolje rešenje), skripta za bekap treba da pošalje signal procesu za pisanje, posle kojeg on pravi fajlove od podataka koji mu od tog momenta pristižu. Kada se bekap završi, onda novi signal pokrene prepisivanje iz fajla, pa sve dok ne pristigne do real time podataka.


Tako je zamišljeno, tako i radi...

Ali, ako ja mogu da prođem bez nekog dugotrajnog lock-a, nego mogu da bekapujem, a da mi to ne utiče mnogo na proces, onda lepo proguglam, vidim šta se sve može (otprilike) i otvorim temu da čujem i tuđa mišljenja i iskustva! :)
Some people, when confronted with a problem, think: "I know, I'll use regular expressions."
Now they have two problems!
-Jamie Zawinsky
 
Odgovor na temu

after
Ajvanho, ING

Član broj: 276962
Poruke: 97
*.dynamic.sbb.rs.



+6 Profil

icon Re: Backup baze - mišljenja i iskustva14.02.2014. u 18:39 - pre 123 meseci
Mozes da probas i sa mydumper(myloader). Funkcionise kao mysqldump koji radi paralelno. Koristio sam ranije vise puta i backup je brzi do nekih 5x dok restore zavisno od skrukture baze i rasporeda velicina tabela se ubrzava cak do 10-20 puta! Inace mydumper je nastao od Maatkit skripti za paralelni backup/restore koje su bile pune bagova i nisu dalje razvijane od strane maatkit-a. Bagovi kod originalnih skripti su ispravljeni i nastao je Mydumper. Neznam da li se u medjuvremenu mydumper razvijao dalje i da li je pratio razvoj MySQL-a - 5.5/5.6/5.7.

Posto je Percona uzela ostale originalne Maatkit skripte i razvija ih dalje pod svojim percona tools, mozda nesto slicno razvijaju i sa paralelnim logickim backup/restore. Price oko paralelnog logickog backup/restore i mane mysqldumpa kao jedinog tool-a za sql backup su nesto sto postoji od kada postoji mysqldump.

Verovatno nije tako jednostavno implementirati u oficijelni MySQL/Percona server, cim tako nesto jos ne postoji.

Inace mysqldump jednom dnevno + bin logovi sasvim fino zavrsava posao. Jos bolje ako postoji i replikacija.
 
Odgovor na temu

SpizaGenije
Spiza Genije
Software Developer
Signus

Član broj: 247347
Poruke: 193
*.telrad.net.



+4 Profil

icon Re: Backup baze - mišljenja i iskustva14.02.2014. u 19:36 - pre 123 meseci
Citat:
after:Neznam da li se u medjuvremenu mydumper razvijao dalje i da li je pratio razvoj MySQL-a - 5.5/5.6/5.7.

Vidiš, tu je problem... Kod nas je sve na 5.5/5.6... Ako i imamo negde nešto na 5.1, te firme smo do sada i zaboravili. Valjda im prethodna rešenja i dalje rade posao bez problema! :)

Citat:
after:Inace mysqldump jednom dnevno + bin logovi sasvim fino zavrsava posao. Jos bolje ako postoji i replikacija.

Tako nekako... :D


No, da zamrsimo malo temu... Kako bi to uradio profi, sa full pro alatima i onako 'utopijskim' unlimited sredstvima?

Recimo to ovako... @Bogdane i ostali sa sličnim iskustvom: Kako biste se vi igrali, kada bi vam dali? :D
Some people, when confronted with a problem, think: "I know, I'll use regular expressions."
Now they have two problems!
-Jamie Zawinsky
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.com
Via: [es] mailing liste

Sajt: mysql.rs


+2377 Profil

icon Re: Backup baze - mišljenja i iskustva14.02.2014. u 20:43 - pre 123 meseci
mysqldumper je domasovo cedo no kada je domas otisao od nas u fb
prilicno je batalio odrzavanje svojih prilicno dobri "side alata" tako
je i mydumper izumro .. odlicna ideja ali nezavrsena
 
Odgovor na temu

farmaceut
Apoteka
Banja Luka

Član broj: 182739
Poruke: 55
188.124.195.*



+30 Profil

icon Re: Backup baze - mišljenja i iskustva15.02.2014. u 18:11 - pre 123 meseci
Citat:
SpizaGenije:
E ovo je već odgovor i to kakav sam trebao dobiti od ovih u Sarajevu! :)

Hvala i za kontakt, iako meni niko Adinu nije pomenuo, ali nije zgoreg ni nju priupitati za savet kako dalje...


Ja sam ti prosao proces za Silver partnera. Trebalo mi je za ASFU za knjigovodstvenu aplikaciju. (inace nisu davali ASFU za "silver", ali su nam progledali kroz prste.... ) Proceduru prodjes sa Ruminima, a placas ovim u Oracle Sarajevo...
Obrati se njihovoj prodaji, u to vrijeme je bila neka Cristina, pa Loarine, pa Oana.... sad ne znam ni ja ko je aktuelan, izgleda da ih mijenjaju ko carape...

Procedura pregovaranja oko cijene je bilo telefonsko nadmudrivanje, i na kraju smo dogovorili procent od cijene applikacije, ~11%, ( kada sam "zaprjetio" MS SQL Expressom.... :) ) Poslije toga potpises hrpu papira, ugovore (na engleskom i srpskom), preuzmes obavezu tromjesjecnih izvjestaja (pravi smor) i sl.

Na kraju, kada sam sve to rijesio - promjenimo poslovnu logiku, te umjesto prodaje aplikacije prebacimo se na "hosting" varijantu.... pa im sad saljem prazan izvjestaj o prodaji.... nema veze, onaj logo "Oracle Silver partner" na memorandumu vrijedi godisnje clanarine :) a ko zna sta ce biti u buducnosti.
 
Odgovor na temu

caca

Član broj: 14314
Poruke: 30
*.dynamic.sbb.rs.



Profil

icon Re: Backup baze - mišljenja i iskustva20.02.2014. u 17:13 - pre 122 meseci
Pomoc oko backup mysql baze sa mysqlhotcopy na windows

Radim sa mysqlserver 5.5 sa myIsam tabelama.
Htela bih da radim backup sa mysqlhotcopy.

mysqlhotcopy postoji na ..\mysqlServer5.5/bin.

Istalirala sam Perl sa stranice ww.activestate.com/products/Activeperl.

Kada pozovem iz dos prompta mysqlhotcopy javlja poruku
`mysqlhotcopy` iz not recognizeed as an internal or external command...

Kako ga ne vidi?
Gde gresim? Da li treba jos nesto uraditi ?.

Hocu da napravim bat fajl za backup pomocu mysqlhotcopy.

Pozdrav
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.com
Via: [es] mailing liste

Sajt: mysql.rs


+2377 Profil

icon Re: Backup baze - mišljenja i iskustva20.02.2014. u 18:36 - pre 122 meseci
zasto 2014 godine myisam tabele pobogu ?

ne mozes iz command prompt-a da pozoves mysqlhotcopy na windozi, vec
moras da pozoves perl.exe sa parametrom da startuje taj mysqlhotcopy ...
no ozbiljno porazmisli, mysql na windozi u kombinaciji sa myisam
tabelama ti je problem u najavi
 
Odgovor na temu

caca

Član broj: 14314
Poruke: 30
*.dynamic.sbb.rs.



Profil

icon Re: Backup baze - mišljenja i iskustva20.02.2014. u 19:18 - pre 122 meseci
Pravim dodatne programe za mysql bazu sa takvom organizacijom
Za sada je tako.

Koji je to parametar ?
Upravo sada to istrazujem

kopirala sam mysqlhotcopy na dir c:\perl\eg

pa sam u command prompt pisala

d:\perl c:\perl\eg\mysqlhotcopy -u korisnik -ppass imeBaze d:\arhiva

i kaze da ne moze da otvori perl script

Hvala na strpljenju
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.com
Via: [es] mailing liste

Sajt: mysql.rs


+2377 Profil

icon Re: Backup baze - mišljenja i iskustva20.02.2014. u 19:58 - pre 122 meseci
nije hotcopy generalno podrzan na windozi, ako pravis neki svoj bekap
sistem najbolje ti je da se okacis na mysql, uradis "flush tables with
read lock;" i onda pustis shadow copy da odradi kopiranje i onda "unlock
tables;" (to je vise manje ono sto i hotcopy radi samo na linux-u) ...

e sad, mozda ga nabudzis sa perlom za windozu .. ja licno nisam nikad
probao ali .. cak i ako proradi, hotcopy na windozi nije zvanicno
podrzan tako da se ja ne bi opustio sa tim resenjem, ja kad ga pokrenem
kuka mi da nema dbi instaliran u perl-u an windozi
Code:

E:tempmysql-5.6.16-winx64bin>perl mysqlhotcopy.pl --help
Can't locate DBI.pm in @INC (@INC contains: /usr/lib/perl5/5.8.8/msys
/usr/lib/perl5/5.8.8
/usr/lib/perl5/site_perl/5.8.8/msys/usr/lib/perl5/site_perl/5.8.8
/usr/lib/perl5/site_perl .) at mysqlhotcopy.pl line 25.
BEGIN failed--compilation aborted at mysqlhotcopy.pl line 25.


tako da samo vidi da ti je perl kompletan i mozda ce i da radi :)
 
Odgovor na temu

tarla

Član broj: 15527
Poruke: 1648



+42 Profil

icon Re: Backup baze - mišljenja i iskustva20.02.2014. u 23:59 - pre 122 meseci
How to Shoot Yourself in the Foot with Perl?
- You shoot yourself in the foot, but nobody can understand how you did it. Six months later, neither can you.


 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: Backup baze - mišljenja i iskustva21.02.2014. u 06:21 - pre 122 meseci
I meni je to palo na pamet....

Windows + MySQL + MyISAM + Active Perl....

You foot your self in the shoot.


Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

caca

Član broj: 14314
Poruke: 30
*.dynamic.sbb.rs.



Profil

icon Re: Backup baze - mišljenja i iskustva21.02.2014. u 09:24 - pre 122 meseci
Htela sam da napravim bat fajl koji bi korisnik koristio za pravljenje rezervne kopije.
Za takav slucaj koja backup je najbolji ?

Hvala na strpljenju
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.com
Via: [es] mailing liste

Sajt: mysql.rs


+2377 Profil

icon Re: Backup baze - mišljenja i iskustva21.02.2014. u 12:23 - pre 122 meseci
obzirom da je windoza u pitanju, u taj bat bi ja stavio pozivanje
mysqldump-a
 
Odgovor na temu

SpizaGenije
Spiza Genije
Software Developer
Signus

Član broj: 247347
Poruke: 193
*.telrad.net.



+4 Profil

icon Re: Backup baze - mišljenja i iskustva21.02.2014. u 13:04 - pre 122 meseci
Citat:
caca:
Htela sam da napravim bat fajl koji bi korisnik koristio za pravljenje rezervne kopije.
Za takav slucaj koja backup je najbolji ?

Hvala na strpljenju


Evo nešto na brzaka:
Code:
C:\MySQL\bin\mysqldump.exe --host tvoj_host --user tvoj_user --p tvoja_sifra --database naziv_baze > C:\MySQL\tvoja_baza.sql 


Znači, otvoriš bilo koji tekstualni editor (notepad recimo) i c/p ovo iznad... Snimiš dokument kao 'backup.bat' i voila! :D

Elem, još jedna mnogo bitna stvar:
Code:
C:\MySQL\bin\mysqldump.exe

je putanja do mysqldump-a... ako ta putanja ima neki prazan karakter tipa
Code:
C:\MySQL\MySQL 5.5 nesto\bin\mysqldump.exe

.bat file neće da radi, pa ti treba malo dodatne gimnastike


Some people, when confronted with a problem, think: "I know, I'll use regular expressions."
Now they have two problems!
-Jamie Zawinsky
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.com
Via: [es] mailing liste

Sajt: mysql.rs


+2377 Profil

icon Re: Backup baze - mišljenja i iskustva21.02.2014. u 13:29 - pre 122 meseci
obavezno dodaj:

-e -K -F -x -R --dump-date --triggers
 
Odgovor na temu

tarla

Član broj: 15527
Poruke: 1648



+42 Profil

icon Re: Backup baze - mišljenja i iskustva21.02.2014. u 16:48 - pre 122 meseci
http://mysqlbackupftp.com/


 
Odgovor na temu

caca

Član broj: 14314
Poruke: 30
*.dynamic.sbb.rs.



Profil

icon Re: Backup baze - mišljenja i iskustva21.02.2014. u 22:42 - pre 122 meseci

Napravila sam dva bat fajla

1. cuvaj.bat

mysqldump --opt -u user -pPass imeBaza > D:\arhiva\imebaze.sql

Ovo radi

2. vrati.bat

mysql -u user -pPass imeBaza < D:\arhiva\imebaze.sql

Prilikom vracanja podataka preko vrati.bat podaci u bazi su bili
overwrite sa podacima iz imebaze.sql sto sam i htela.

i ovo radi.

------------------

Instalirala sam i mysqlbackupftp i napravila backup baze.
Ovaj backup je super cak u imenu baze pamti datum i vreme
i ima dosta drugih pogodnosti

Kod mysqlbackupftp nisam nasla kako bi vratila bazu iz sql
pa sam unzip sql i napravila drugi bat vrati1.bat

ali on mi vraca sledecu gresku
ERROR 1062(23000) at line 70: Duplicate entry `11940` for key `primary`

Ovde nije hteo da uradi overwrite !!

Kako se vraca baza ako se backup preko mysqlbackupftp ??

Zahvaljujem na odgovorima
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.com
Via: [es] mailing liste

Sajt: mysql.rs


+2377 Profil

icon Re: Backup baze - mišljenja i iskustva21.02.2014. u 23:50 - pre 122 meseci
mysqldump normalno uradi drop table if exist tako da ti prvo obrise svu
datu pa insertuje, mysqlbackupftp ne dodaje drop u sql tako da prvo
moras da odradis rucno drop svega pa onda ... nisam koristio
mysqlbackupftp (nije bas preterano koristan) ali verovatno ima opcija da
doda drop-ove u sql koji generise

inace --opt nije dovoljno za konzistentan bekap sa mysqldump, pogledaj
opcije koje sam ti napisao prethodno
 
Odgovor na temu

[es] :: MySQL :: Backup baze - mišljenja i iskustva

Strane: 1 2 3

[ Pregleda: 10748 | Odgovora: 59 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.