backup host servera

Pozdrav svima, evo mene i u ovoj sferi...
Imam usko znanje, ali zelju i mogucnosti da se upoznam malo vise.

Situacija je sledeca, postoje dva zakupljena dedicated servera na Hetzneru. PX90 i EX40. Prijatelj koji ima firmu je zakupio te servere i eto mene planira da uposli malo oko toga da mu pomognem.

EX40 trenutno nicemu ne sluzi, osim da ja malo cackam i ucim na njemu, pa kad "zavrsim" sa tim onda bismo trebali da trazimo reinstal. U principu oni ga vise ne upotrebljavaju za hostovanje jer im je cesto "zakucavao". U jednom momentu kad je tako zakucao, uspeo sam da se zakacim na njega i pokrenem htop i video sam da je swap particija od 8GB puna, ostalo samo 160Kb prostora, a isto tako i 99% memorije od 16GB je bilo napunjeno... A server ničemu ne služi, nema ni jedan live sajt

Treba da smislimo strategiju backUP-a i naravno da realizujemo. Trenutno on ne radi nikakav backup.

Koliko vidim, na "live" serveru odnosno PX90 vrti par nekih sajtova, od kojih su dva Shop-a uradjena u nekom Magentu.

On je do sada sve sto bi radio menjao u nekom test okruzenju na istom serveru, pa tek onda to stavljao na live sajt.
Backup nije nikakav radio, i do sada je sve na srecu bilo kako treba.

Moja neka ideja za sada je ova sa slike. Da li pogresno razmisljam? To je neki koncept koji sam sada zamislio, kasnije cu da trazim resenje kako to da unapredim.
Mislio sam da taj EX40 iskoristimo kao backup storage i cisto eto za neka testiranja.
Videh da postoji neka rsync funkcija i svidela mi se. Da li sa tom rsync funkcijom mogu i bazu da sinhronizujem? Ili se to samo radi klasicnim svakodnevnom dampovanjem baze?

Sa ove fotke, da li razmisljam na pogresan nacin?
Usmerite me :)

Je l' imate preporuku za neki kvalitetan i aktivan srpski Linux forum :)
Gde mogu da postavljam i ovakva pitanja?

moze na pp

Backup baze radiš sa dump. Preporučujem da je onda zapakuješ(tar), zatim enkriptuješ(gpg) i tek onda prebaciš na dugi server(rsync).
To koliko često ćeš da radiš backup zavisi od potreba, a pošto kažeš da nikad nije rađen...
Zavisi i koliko su veliki sajtovi, koliko imaš mesta na disku za backup-e da čuvaš, koliko su ti važni podaci koje možeš da izgubiš...

A prva vežba na backup serveru nek ti bude vraćanje sajta iz backup-a Tako znaš da ako se i desi nešto, da možeš brzo da povratiš sajtove.

bas takav backup radi program rsnapshot, koji koristi rsync + nesto logike/pameti sa hard linkovima ( http://rsnapshot.org/ )

ima cak i podrsku, da pre pocetka backupa pokrene skriptu (recimo da napravi mysqldump)

Potpis

Bolje ispasti glup nego iz aviona
http://www.mulaz.org/

Imas na netu gomilu uputstava, skripti, aplikacija za backup, evo jdnog https://www.digitalocean.com/c...ur-site-with-rsync-on-centos-6. Jednostavno, kreiraj ssh kljuc i otpremi ga na server sa kog vrsis backup, zatim u crontab unesi vreme i komandu ili putanju do skripte kojom vrsis backup,na primer:

Ovo sa slike si lepo zamislio i jos samo da to pretocis u neki backup skript. Za arhiviranje pogledaj tar komandu, a za datoteke starije od 3 meseca find komandu, na primer:

E drago mi je da sam video neki post ovde :).

Dakle, iako nemam nekog iskustva, ovo što sam zamislio se kreće u dobrom pravcu?
To sa find sam već negde video. Odnosno imamo problem sa nekim session folderom i logovima koji se pakuju unutra.
Kako sam ukapirao, svaka poseta, svako ko poseti sajt taj "Magento" cuva logove u tom folderu. Rekao mi da se jednom desilo da se skupio ceo terabajt O.o. Sada trenutno ima oko 15GB.
Kaze da mu je frka to sada da obrise, jer je prosli put "ubio" server kad ih je brisao (taj terabajt).

Brisao je sa ovom komandom


Izguglao sam da je za ovaj problem bolje uraditi rsync sa nekim praznim folderom, nesto poput ovog


a po nekim testovima je valjda još brža komanda bila


na ovom serveru sa kojim mogu da se igram ću da isprobam obe, mada mi se više sviđa ova rsync komanda.

Kad ispraznim te problematicne foldere, onda bas planiram Panto to sto si pomenuo.
Nasao sam ovu komandu

koja briše fajlove koji su modifikovani zadnji put pre 7 dana. Ili bih stavio neki duži period, pa da to ubacim u skriptu sa back-upom koju planiram da okidam svaku noć ili jutro. Ne znam samo da li mu treba vise od 7 dana da cuva te logove, cemu mu uopste sluze. Ne verujem da je imao nekad potrebu da ih gleda.



"Dampovao" sam danas neku bazu sa ovog servera sa kojim se igram, ali sam to rucno odradio preko Plesk-a. Siguran sam da postoji i neka skripta, mislim da sam je izguglao negde.
S obzirom da ima neki shop sajt sa oko 3000 artikala, velikom bazom podataka, ne znam koliko bi tu trajalo taj dump ako bih ga radio svaki dan. Da li bih sa tim ubijao server? U pitanju je px90, vidim da ima 64GB DDR4 memorije i neki odlican procesor. Taj sajt je prilicno ozbiljan, i donosi ozbiljnu lovu mesecno, pa mislim da bih morao da se potrudim da radim backup jednom dnevno. Jbg, ipak ne može to baš na sreću kao do sada... U principu, prostor je 2x2 terabajta. Mislim da je itekako dovoljno da imam po kopiju sajta jednom u zadnja 3 meseca, po jednom nedeljno u zadnjih 28 dana, i zadnja nedelja svakodnevno. to je recimo 13 kopija. Hosting je zakupljen zbog tog sajta, ali ima prostora pa je prišlepano još par desetina manje bitnih sajtova koji nemaju ni približnu posećenost.

I dobra ideja za prvu vezbu!
Pitanje jedno naivno :),
ako recimo sa resync imam dva ista foldera na dva razlicita servera, i live server mi iz nekog razloga padne, kakva je procedura za vracanje servera?
U glavi mi otprilike stoji, da domen nekako preusmerim samo na lokaciju gde mi je backup server? Pretpostavljam da preko te neke firme gde sam zakupio domen, mogu samo da redirektujem domen na taj server? Doduse, to cu u ponedeljak pitati ovog lika, kako to ide :). Pretpostavljam da ako postoji mogucnost da se redirektuje sajt, da je bolje to uraditi pa naci i resiti problem na live serveru, nego kopirati brzo nazad podatke na taj server...

Ovo su samo neki laički saveti:



3000 artikala implicira mnogo malu bazu podataka, tako da ne bi bekap mnogo trajao :-). Ako su ti diskovi u RAID-u, još kraće.

Dnevni bekap je OK, pa onda cron job-om možeš da brišeš starije bekape. Pored toga, verovatno ti treba standby baza podataka koja može da uskoči u slučaju da ova zakaže.
Bekape naravno, ne držiš na istom serveru gde je i baza :-).



ako nemaš standby, podigneš bazu podataka, importuješ damp, podesiš okruženje (ako već nemaš podešeno) i podesiš DNS zapise (domen, što kažeš) da adrese pokazuju na novi server. Ovo ima dosta
mana, naravno, a to je npr. da vreme propagacije traje relativno (i često neprihvatljivo) dugo. Druga opcija je da imaš aplikaciju na jednom serveru, a bazu na drugom, replikovanu
na trećem, pa onda samo na serveru sa aplikacijom promeniš konekciju na drugu bazu.

Ili da imaš jedan haproxy koji redirektuje sav saobraćaj ka serveru, pa onda samo promeniš njegovu konfiguraciju.



u ovoj komandi samo treba da izbaciš time :-).

To su sesije ulogovanih korisnika, kao kad se prijavis na ES forum, kreira se sesija sa tvojim informacijama, pa kada sledeci put posetis ES, ne trba ponovo da unosis login podatke. Ako ih izbrises, izbrisaces i sve podatke prijavljenih korisnika. Koliko ce dugo da cuva te podatke, zavisi o kakvom se sajtu radi, mada +7 dana mislim da je dovoljno. Za uklanjanje mozes da koristis pomenutu find komandu. Evo, ovde imas jos neka resenja http://stackoverflow.com/quest...-session-files-need-to-be-kept. Naravno, pre nego sto bilo sta uklonis, odradi backup.

Pominjao si plesk? On beše ima bug u nekoj verziji da mu ne radi ispravno brisanje sesija (daily cron script). Imao sam i ja taj slučaj, najlakše je bilo da se ubije apache, preimenuje ovaj folder, napravi novi pod istim nazivom i podese privilegije i ponovo pokrene apache. Nakon toga brisanje tog preimenovanovanog direktorijuma ume da potraje, jer mislim da beše ne može da se obriše sa rm -rf dir već ima neka procedura koju imam negde, ali ne sad...

I da, negde na plesk sajtu postoji rešenje kako se prepravi taj cron da radi kako treba brisanje sesija...

Potpis

Kad sve ostalo zakaže, pročitaj uputstvo...

Sad sam krenuo prvo na kucnom racunaru da smisljam i da probam da napisem za pocetak neku skriptu i strukturu backup fodera.

Zamisljao sam do ovog momenta kako bih skriptu stavio na glavni server i namestio da okida svakodnevo, ali vidim svuda po netu da je praksa da je skripta u stvari na backup serveru, pa se kaci preko SSH na glavni server i onda krece sa rsync, dump-om baze i slicno...

Iz kog razloga je to tako bolje?

Verovatno da ne bi opteretila glavni server, jer rsync kad radi "malo jede memoriju i cpu"... pretpostavljam. Ali nemaš često mogućnost da na backup serveru radiš šta hoćeš...

Potpis

Kad sve ostalo zakaže, pročitaj uputstvo...

Ovako, napisao sam nesto u ovom fazonu, samo sto sam za pocetak ovde na lokalnom racunaru testirao.
Kad budem napravio to do kraja, onda cu deo /home/ceman/Documents/ zameniti sa folderom koji je na glavnom odnosno remote serveru.



S tim, sto je ovo samo pocetak,
Posle ovoga planiram prvo skriptu koja ce da prvo uradi dump svih baza, pa onda rsync na remote serveru u neki backup folder na istom tom serveru, pa onda zip ili tar tog foldera pa tek onda kopiranje na backup server i onda ostatak ove skripte koju sam za sada napisao.

Posle ove skripte bih dodao samo da se neki izvestaj snimi u neki log fajl i taj log fajl posalje meni na mail. Probao bih da nadjem nacin da ukoliko je doslo do neke greske, da mi flaguje mail kao important i u subject-u napise ERROR ili nesto sto bi mi privuklo paznju, jer obicno kod ovakvih automatizovanih stvari, bar na proslom poslu gde sam pisao .bat skripte, danima ne bih primetio da nesto nije u redu, jer ne bih kontrolisao logove redovno. Valjda cu naci neku ideju :)

E da... jos bih posle svega mozda i raspakovao sve ove foldere, u isti /www/ folder na backup serveru, nasao neki nacin i da se baza "oddampuje" ili kako se vec kaze :), pa da uvek postoji rezervna varijanta, da ako se sa glavnim serverom nesto desi, da samo promenom DNS zapisa preusmerim na taj backup server kako bi sajtovi radili dok se ne resi problem sa glavnim serverom.


Je l' mi OK ova skripta, ili negde gresim? Mozda neka malo pismenija ideja? Nesto sto sam zaboravio?

Samo ovo postavis u svoj crontab (crontab -e) i pobrines se da u /etc/aliases stoji tvoja adresa:



(ako si ovo menjao, trebalo bi da restartujes postfix: sudo service postfix restart).







Izgleda OK. Obavezno stavljaj sve putanje pod navodnike (umesto /var/backups/day-7/ stavi "/var/backups/day-7"). Ako nekad slucajno budes imao rm /var/log/hello, ovo ce spreciti probleme ako slucajno
stavis razmak i komanda ispadne rm /var/ log/hello.

Umesto svega ovoga, ja bih koristio logrotate. Skripta za logrotate bi bila nesto kao:



ili slicno (samo kucam nisam proveravao, ali pogledaj po internetu). Isto bih uradio i za monthly i za weekly, samo umesto daily stavis weekly odnostno monthly.

Ista stvar i za weekly i za monthly

Koliko sve ovo lakse izgleda nego dok sam u Windowsu pokusavao batch skripte da nateram da slicno nesto rade... :). Mozda je bilo lakse iz power shell-a, ali nisam pokusavao.
Da "nateram" batch da posalje mail nisam uspevao nikako, nego bih na kraju pozivao VB skriptu koja bi to uradila.
A tek o opciji rsync da ne govorim. Mozda postoji nesto slicno i za Win, ali sam koristio samo kopiranje i zipovanje.
Cini mi se da sam i mnogo vise koda morao da unesem da bih koristio datum na slican nacin kao ovde...

Za sada sam prilicno zadovoljan kako funkcionise .sh


Hvala za znake navoda, to cu ispraviti.
Sto se tice logrotate, kako mislis "umesto svega ovoga". Mislio si samo na slanje logove ili i kompletnu sinhronizaciju?
Ne kapiram najbolje sta bi radila ova tvoja postrotate skripta.

Kompletnu sinhronizaciju. Ovako je nekakva ideja: logrotate se pokrene jednom i okrene fajlove - uradi renaming daily.tar -> daily.tar.1, daily.tar.1 -> daily.tar.2 (samo sa datumom u ekstenziji - zbog dateext). Nakon toga svega se pokrene postrotate skripta, i uradi rsync, i zatim zapakuje ceo `tmp/` u daily.tar arhivu. Tada imas

daily.tar - najsvezija arhiva
daily.tar.1 - jedna ranije
daily.tar.2 - dve ranije
daily.tar.2 - tri ranije itd (sve do sedam - zbog rotate 7 specifikacije u skripti).

Ista ideja je za weekly i monthly backupe.

Inace, i da odlucis da ne koristis logrotate, opet bih ovu skriptu razbio na tri dela - jednu za daily, drugu za weekly, a trecu za monthly. Onda bih svaku skriptu pozivao iz cron joba, jednom dnevno, jednom nedeljno, odnosno jednom mesecno:

U win sam imao problema da mi je task scheduler zapucavao povremeno iz meni nekih nepoznatih razloga.
I to sve dok smo imali desetak razlicitih taskova.
Kad smo objedinili sve to u jednu skriptu i u scheduler-u imali samo jedan task smanjili smo broj problema na minimum.

Tom logikom sam se i ovde vodio, da je mozda bolje sve spakovati u jednu skriptu koja bi proveravala datum ili dan, pa ako nije taj dan, onda da ide dalje...

Koja bi bila u stvari prednost kada bih razbio skriptu na 3 dela?

Pa, prednost je sto mozes da koristis jednu skriptu, i onda samo kao argumente da joj prosledis deo koji je izmenjen (day/month/sunday). Velicina skripte pada tri puta, i svaki put kada nesto hoces da izmenis, mozes da izmenis na samo jednom mestu, a ne na tri mesta.

Tvoja primedba stoji, ali nisam imao problema sa cronom na Linuxu, a odrzavam desetine skripti u cronu na 100+ servera.

Naravno, sve ovo su samo ideje, sto kazu, da prosiris vidike, slobodan si da nista ne poslususas - Kao sto rekoh, tvoja skripta izgleda ok :-).

Ah, nisam stavio smajli u mojoj prethodnoj poruci pa mozda izgleda previse ozbiljan moj ton.
Postavljam pitanja cisto da vidim kako to u praksi izgleda :), i da li postoji neka prednost koje tvoje iskustvo kaze. :). I hvala ti sto imas strpljenja pa dangubis ovde sa mnom :)

Naravno da volim da vidim vise nacina pa cu na kraju odluciti za ono sto je najbolje, iliti ono sto znam da napravim ako se ne snadjem kao recimo sto mi za sada konfuzno izgleda postrotate, a verovatno je odlicna stvar...

Nego, sad pokusavam cisto testa radi prvo da sinhronizujem nesto sa remote servera na lokalnu masinu, i iskoristio sam ovo

rsync -avzh [email protected]:/home /var/backups/day-1/

Fora je sto u tom /home folderu imam samo jedan fajl, i mislio sam da ce taj jedan da pregazi sve ovo sto vec postoji u day-1 i nakon sinhronizacije da ce u njemu biti samo taj jedan fajl.

Kad sam izvrsio ovu komandu iz terminala, svi falovi vec postoje u day-1 s tim sto je dodat jos taj jedan novi.
To mi ne odgovara tako.
Jer sta ako na remote serveru budu namenski obrisani neki fajlovi iz nekog odredjenog foldera, i ja odradm rsync, na backup serveru ce i dalje da postoje ti fajlovi, a ja zelim da bude kopija identicna.

Nema na cemu :-). Nije bio ozbiljan ton sa tvoje strane, nego sam ja rekao, jer ni sa moje strane nema ozbiljnog tona :-).

Sto se tice tvog pitanja, samo prosledi jednu od --delete u rsync: