backup host servera

Re: backup host servera 07.10.2015. u 23:59 · pre 134 meseca #21

da pitam na ovom mestu, zbog toga sto se pominjao rsync

U folderu web_app imam gomilu fajlova i direktorijuma, i između ostalog direktorijum .svn.
Kako da rsync-ujem sve osim tog .svn direktorijuma iz web_app u neki drugi

Pokusao sam sve ove nacine i svaki put dovucem i .svn folder sa svim fajlovima unutar njega.

rsync -avze --exclude '.svn/' /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/

rsync -avze --exclude ".svn/" /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/

rsync -avze --exclude=".svn/" /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/

Re: backup host servera 08.10.2015. u 08:49 · pre 134 meseca #22

Gde se nalazi taj .svn dir, u root web_app ("/var/www/vhosts/pic.events/svn/web_app/.svn")? Probaj sa -R (--relative) opcijom:

Code:
rsync -avze -R --exclude '.svn' /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/

Ili sa --cvs-exclude:

Code:
rsync -avze -c --exclude '.svn' /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/

Citat:

-C, --cvs-exclude

This is a useful shorthand for excluding a broad range of files
that you often don’t want to transfer between systems. It uses a
similar algorithm to CVS to determine if a file should be
ignored.

The exclude list is initialized to exclude the following items
(these initial items are marked as perishable -- see the FILTER
RULES section):

RCS SCCS CVS CVS.adm RCSLOG cvslog.* tags TAGS
.make.state .nse_depinfo *~ #* .#* ,* _$* *$ *.old *.bak
*.BAK *.orig *.rej .del-* *.a *.olb *.o *.obj *.so *.exe
*.Z *.elc *.ln core .svn/ .git/ .hg/ .bzr/

then, files listed in a $HOME/.cvsignore are added to the list
and any files listed in the CVSIGNORE environment variable (all
cvsignore names are delimited by whitespace).

Finally, any file is ignored if it is in the same directory as a
.cvsignore file and matches one of the patterns listed therein.
Unlike rsync’s filter/exclude files, these patterns are split on
whitespace. See the cvs(1) manual for more information.

If you’re combining -C with your own --filter rules, you should
note that these CVS excludes are appended at the end of your own
rules, regardless of where the -C was placed on the com‐
mand-line. This makes them a lower priority than any rules you
specified explicitly. If you want to control where these CVS
excludes get inserted into your filter rules, you should omit
the -C as a command-line option and use a combination of --fil‐
ter=:C and --filter=-C (either on your command-line or by
putting the ":C" and "-C" rules into a filter file with your
other rules). The first option turns on the per-directory scan‐
ning for the .cvsignore file. The second option does a one-time
import of the CVS excludes mentioned above.

Re: backup host servera 08.10.2015. u 08:51 · pre 134 meseca #23

Koje verzije, rsync, linux, radiš u lokalu ili remote?

-e povlači podrazumevano ssh, mada možeš da promeniš.

Ovo radi bez problema, namerno sam napravio pet-šest poddirektorijuma, zaobilazi ih normalno, nevezano za dubinu.

rsync -avz --exclude "*.old" --exclude "*.jpg" --exclude ".svn/" SOURCE/ DEST/

Možda bi ti bilo bolje da proučiš malo i .cvsignore, pa uz "-C" možeš lepo da skratiš kobaje od komandi.

Potpis

Kako se dele racunarski programi?
Na bagovite (sa greskama) i ispravne (bez gresaka). Ovi drugi su hipoteticki.
***GPL-ovano by @Shadowed

"Ja za email koristim outlook express u virtualnoj mašini, tako da s te strane nijedan linux nije
dorastao XP-u." - pisac

Re: backup host servera 08.10.2015. u 09:00 · pre 134 meseca #24

jeste bilo u lokalu ovaj put, a -e sam ostavio od proslog puta :/
zakacio sam se sa ssh ali sam kopirao sa jednog mesta na drugo na istom serveru.

Panto, da u root web_app

sad cu da probam i jedno i drugo

edit:
to je to
-R mi je pomoglo

hvala

iskoristio sam ovu pantinu

rsync -avze -R --exclude '.svn' /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/

e sad... kada sam dodao --delete

rsync -avze -R --delete --exclude '.svn' /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/

nije mi uspelo.

Odnosno, dest folder, pum.pic.events/ je imao prethodno neke fajlove u sebi, sa ovom gore komandom su se sinhronizovali svi fajlovi, ali su i ostali neki fajlovi nepotrebno kojih je bilo u dest folderu, ali ih nije bilo u source folderu.

Dakle, hocu da mi bude 100% identican dest folder, source folderu, s tim sto zelim da excludujem .svn/ folder

Re: backup host servera 08.10.2015. u 09:42 · pre 134 meseca #25

Koju gresku prikaze? Mozda nema dozvole da ih ukloni. Pogledaj izlaz komande.

Re: backup host servera 08.10.2015. u 10:23 · pre 134 meseca #26

Sada mi je OK. O_o
Radi mi komanda.
Sad sam još zbunjeniji :)

Re: backup host servera 08.10.2015. u 11:05 · pre 134 meseca #27

rsync je toliko moćan, da prosto nije humano. Ali zato je i "malo" komplikovan za razumeti.

Jesi pročitao man stranu?

imaš brdo opcija pod "delete", ovo tvoje briše samo već sinhronizovane direktorijume.

Moj savet ti je da, u lokalu, ili kroz ssh svejedno, kao običan korisnik, napraviš SOURCE i DEST direktorijume, napuni prvi glupostima i vežbaj. Proveri sve opcije i filtriranje. Brat bratu tri sata odvojiš, i posle ima ti nas da savetuješ.

Potpis

Kako se dele racunarski programi?
Na bagovite (sa greskama) i ispravne (bez gresaka). Ovi drugi su hipoteticki.
***GPL-ovano by @Shadowed

"Ja za email koristim outlook express u virtualnoj mašini, tako da s te strane nijedan linux nije
dorastao XP-u." - pisac

Re: backup host servera 09.10.2015. u 16:03 · pre 134 meseca #28

Citat:

#!/bin/bash
# My first script

sleep 2
rsync -avzh /var/backups/day-6/ /var/backups/day-7/
sleep 2
rsync -avzh /var/backups/day-5/ /var/backups/day-6/
sleep 2
rsync -avzh /var/backups/day-4/ /var/backups/day-5/
sleep 2
rsync -avzh /var/backups/day-3/ /var/backups/day-4/
sleep 2
rsync -avzh /var/backups/day-2/ /var/backups/day-3/
sleep 2
rsync -avzh /var/backups/day-1/ /var/backups/day-2/
sleep 2
rsync -avzh /home/ceman/Documents/ /var/backups/day-1/
sleep 2

DAYOFWEEK=$(date +"%u")
if [ "$DAYOFWEEK" == 7 ]
then
rsync -avzh /var/backups/sunday-4/ /var/backups/sunday-5/
sleep 2
rsync -avzh /var/backups/sunday-3/ /var/backups/sunday-4/
sleep 2
rsync -avzh /var/backups/sunday-2/ /var/backups/sunday-3/
sleep 2
rsync -avzh /var/backups/sunday-1/ /var/backups/sunday-2/
sleep 2
rsync -avzh /var/backups/day-1/ /var/backups/sunday-1/
fi

sleep 2

DAYOFMONTH=$(date +"%d")
if [ "$DAYOFMONTH" == 01 ]
then
rsync -avzh /var/backups/month-5/ /var/backups/month-6/
sleep 2
rsync -avzh /var/backups/month-4/ /var/backups/month-5/
sleep 2
rsync -avzh /var/backups/month-3/ /var/backups/month-4/
sleep 2
rsync -avzh /var/backups/month-2/ /var/backups/month-3/
sleep 2
rsync -avzh /var/backups/month-1/ /var/backups/month-2/
sleep 2
rsync -avzh /var/backups/day-1/ /var/backups/month-1/
fi

S tim, sto je ovo samo pocetak,
Posle ovoga planiram prvo skriptu koja ce da prvo uradi dump svih baza, pa onda rsync na remote serveru u neki backup folder na istom tom serveru

Ne znam dokle si stigao sa skriptom, ali mogao bi ovu rsync komandu da stavis u neku funkciju, pa posle sa istom da pozoves rsync ili sta vec, na primer:

Code:
backup () {
    rsync komanda 2> error.log
    if [ $? -ne 0 ]; then
        cat error.log | mail -s "Error" $(whoami)
fi

Takodje, ovo DAYOFWEEK=$(date +"%u") mozes da zamenis sa if [ $(date +%u) -eq 7 ], isto i DAYOFMONTH, pa pozoves backup funkciju. Ove daily, weekly i monthly direktorijume mozes da definises nekom promenljivom, npr: dest=(daily weekly monthly) i posle ih prosledis funkciji kao parametar.

Pogledaj i: http://tldp.org/HOWTO/Bash-Prog-Intro-HOWTO.html

Re: backup host servera 10.10.2015. u 11:29 · pre 134 meseca #29

Nisam je završio još :/
Na poslu letim sa jedne na drugu stvar i ništa detaljno ne završim.
Ali pogledaću čim se vratim na to

Re: backup host servera 29.12.2016. u 17:54 · pre 119 meseci #30

Godinu i po dana kasnije.
Tada nekada sam napravio tu neku skriptu ali više nije bilo potrebe za takvim backupom.
Morao sam sve vreme ručno jer su nam sajtovi bili kod drugih hosting kompanija, i samo FTP pristup. To sam već pitao u nekoj drugoj temi, i rešio. Spremam skriptu i za to :)

E sad, Iskrslo je da moram da bekapujem svakodnevno, na sličan način kao što sam u ovoj temi u prvom postu pitao. Zato bih se nadovezao na ovu temu.
Destination server je u pitanju Windows. Pošto je u pitanju 5GB fajlova, gde svakodnevno izmena ima po samo par desetina MB, suludo mi je da kopiram svaki put po svih 5GB za svaki dan posebno. Pogotovo što su serveri na različitim udaljenim lokacijama.

Htedoh da vidim kako funkcioniše incremental rsync, i naišao sam na neko jako matoro uputstvo koje se podudara sa ovim što sam u prvom postu nacrtao, i evo sad ponovo, više da bih skapirao vizuelno šte se dešava.

mv day3/ day4/
mv day2/ day3/
mv day1/ day2/
cp -al backup_directory/ day1/
rsync -a --delete source_directory/ backup_directory/

1. Ako sam dobro razumeo -al komanda će mi napraviti hard linkove. Hard linkovi valjda ne zauzimaju nikakav prostor, ali u nekom momentu ako ih samo iskopiram na drugi server (recimo zbog restore) u tom momentu će to postati pravi fajlovi, odnosno duplikati?
2. Interesuje me kod mv, i dalje su to hard linkovi kad ih pomerim? cp valjda ne, kao sto pitah u prethodnom pitanju
3. Na ovom primeru gde sam iscrtao razliku u fajlovima, pošto taj fajl koji je različit, ne postoji na drugom mestu (prepisan je originalni), on više nije hard link, nego realan pravi fajl? Što znači da će recimo ceo folder "Day4" da mi bude u stvari težak u MB koliko je težak daj neki fajl koji u stvari više nije hard link?.
4. Ako bih u stvari hteo da olakšam "restore", odnosno da nemam gomilu foldera sa fajlovima, nego da spakujem sve u jedan zip, šta bi se desilo kad bih baš taj Day4 sa tim hard linkovima zipovao?

preedit:
U trenutku pisanja posta vidim da postoji i neka rsync komanda --link-dest= ali je još nisam skapirao.

rsync.JPG75.71k

Re: backup host servera 29.12.2016. u 21:26 · pre 119 meseci #31

Nisam se baš mnogo udubljivao, pa ću samo da pojasnim oko hard-linkova.
Hard link predstavlja "ulaz" u fajl. Kada napraviš hard-link, kreira se još jedan taj "ulaz", koji ukazuje na isti sadržaj, u stvari postaje ravnopravan kao "original", koji je u stvari isto jedan hard-link.
Ako obrišeš jedan hard-link, samo se smanjuje broj linkova u evidenciji u tabeli i-nodova. Ako obrišeš sve hard-linkove, briše se fajl.
Ako kopiraš fajl preko bilo kog linka, kopira se i sadržaj, da.

Re: backup host servera 29.12.2016. u 22:42 · pre 119 meseci #32

Ako kopiram fajl sa "cp", ili hard link, zatim izmenim sadrzaj, original ostaje netaknut?
Ako "mv" fajl odnosno hard link, i izmenim ga, izmeniće se i original?
Ako zipujem hard linkove, pa ih posle raspakujem na drugom mestu, oni vise nemaju nikakve veze sa originalima?

Koja razlika je izmedju cp -l i ln?

Re: backup host servera 30.12.2016. u 11:42 · pre 119 meseci #33

Kad kopiraš koristeći hard link, kopira se sve na šta se on odnosi - ako koristiš normalan cp. Ako ideš sa cp -l, onda pravi samo link, na isti sadržaj.
cp -l i ln daju isti rezultat.

Znači, hard-linkovi su u stvari fajlovi kada radiš sa njima, nebitno je da li kopiraš koristeći "original" ili hard-link, svakako sve "komplet" se kopira i imaš nezavisnu kopiju.

Sve ovo možeš lagano da proveriš

Re: backup host servera 30.12.2016. u 13:00 · pre 119 meseci #34

Dakle moguce je koristiti hard linkove kao incremental backup.

OK, sad sam samo zapucao oko toga sto se ovi hard linkovi odnose na fajl.

Kako cu sad odraditi ako taj jedan folder na source racunaru ima hiljade podfoldera i desetine hiljada fajlova...

Doduše komanda

cp -al backup_directory/ day1/

Bi trebalo rekurzivno da iskopira linkove svih fajlova iz foldera backup_directory/ u day/

U svakom slucaju, sad sam skinuo Kali linux, potreban mi je za jos kojesta, pa cu da instaliram VM i da probam sve varijante :).

hvala

Re: backup host servera 30.12.2016. u 16:46 · pre 119 meseci #35

Probao, radi

Ajd da napišem i ovde šta uradih, možda za 10 godina mi bude zanimljivo da pogledam :P

Ovo mi je struktura foldera.

root@kali:/var/backup# ls -l
total 3688
-rw-r--r-- 1 root root 3696889 Dec 30 10:16 backup.log
drwxrwx--- 16 544 197121 4096 Dec 24 17:52 bckp
drwxrwx--- 16 544 197121 4096 Dec 24 17:52 day1
drwxr-xr-x 2 root root 4096 Dec 30 10:36 day2
drwxr-xr-x 2 root root 4096 Dec 30 10:36 day3
drwxr-xr-x 2 root root 4096 Dec 30 10:37 day4
drwxr-xr-x 2 root root 4096 Dec 30 10:37 day5
drwxr-xr-x 2 root root 4096 Dec 30 07:49 day6
drwxr-xr-x 2 root root 4096 Dec 30 07:49 day7
drwxr-xr-x 2 root root 4096 Dec 30 07:49 month1
drwxr-xr-x 2 root root 4096 Dec 30 07:49 month2
drwxr-xr-x 2 root root 4096 Dec 30 07:49 month3
drwxr-xr-x 2 root root 4096 Dec 30 07:49 month4
drwxr-xr-x 2 root root 4096 Dec 30 07:49 month5
drwxr-xr-x 2 root root 4096 Dec 30 07:49 month6
drwxr-xr-x 2 root root 4096 Dec 30 07:49 week1
drwxr-xr-x 2 root root 4096 Dec 30 07:49 week2
drwxr-xr-x 2 root root 4096 Dec 30 07:49 week3
drwxr-xr-x 2 root root 4096 Dec 30 07:49 week4

Prvo sam uradio rsync sa remote win servera

rsync -avhP -e ssh --log-file="/var/backup/backup.log" [email protected]:"/cygdrive/f/TMP/Documents/Uploaded/" "/var/backup/bckp/"

A zatim

root@kali:/var/backup# cp -al bckp/. day1/

Tako da kad izmerim velicinu oba foldera, i sa "original" fajlovima, i sa hard linkovima, oba su prilicno velika.
A kada izmerim njihov parent folder, nije sabran, nego nesto vrlo malo veci.

root@kali:/var/backup# du -hs .
6.3G .
root@kali:/var/backup# du -hs bckp/
6.2G bckp/
root@kali:/var/backup# du -hs day1/
6.2G day1/

Još samo da spakujem to u skriptu

Re: backup host servera 27.04.2017. u 18:04 · pre 115 meseci #36

Evo mene opet :)

Dakle imam skriptu za backup svih baza sa remote servera.
Nesto poput ovog.
Zbog ovako "vidljive" sifre kreirao sam neki cs-backup user koji ima permisije samo
SHOW DATABASES, SELECT, LOCK TABLES, RELOAD, SHOW VIEW

Code:
TIMESTAMP=$(date +"%F")
BACKUP_DIR="/var/backup/WebSRV/script-backup/$TIMESTAMP"
MYSQL_USER="cs-backup"
MYSQL=/usr/bin/mysql
MYSQL_PASSWORD="SCaZK218YvGz+#zG"
MYSQL_HOST="websrv.site.com"
MYSQLDUMP=/usr/bin/mysqldump

mkdir -p "$BACKUP_DIR/mysql"

databases=`$MYSQL --host=$MYSQL_HOST --user=$MYSQL_USER -p$MYSQL_PASSWORD -e "SHOW DATABASES;" | grep -Ev "(Database|information_schema|performance_schema|psa|apsc|sys|horde|mysql|phpmyadmin_A7QQU1Y1MfJs|roundcubemail)"`

for db in $databases; do
$MYSQLDUMP --force --opt --host=$MYSQL_HOST --user=$MYSQL_USER -p$MYSQL_PASSWORD --databases $db | gzip > "$BACKUP_DIR/mysql/$db.gz"
done

Pored toga imam za fajlove skriptu poput ovog

Code:

BACKUP_DIR="/var/backup/today"

mkdir -p "$BACKUP_DIR/files"

#site1.com webspace
rsync -ahR --no-o --no-g --delete -e ssh [email protected]:"/var/www/vhosts/./site1.com/httpdocs" "$BACKUP_DIR/files"
rsync -ahR --no-o --no-g --delete -e ssh [email protected]:"/var/www/vhosts/./site1.com/sub.site1.com" "$BACKUP_DIR/files"

#site2.com webspace
rsync -ahR --no-o --no-g --delete -e ssh [email protected]:"/var/www/vhosts/./site2.com/httpdocs" "$BACKUP_DIR/files"
rsync -ahR --no-o --no-g --delete -e ssh [email protected]:"/var/www/vhosts/./site2.com/sub.site2.com" "$BACKUP_DIR/files"

E sad, plan je da svakodnevno baze i fajlove pakujem u neki /var/backup/today/ folder
A odatle sa

Code:
cp -al /var/backup/today/ /var/backup/(date +"%F")/

Na ovaj nacin samo promenjeni fajlovi u odnosu na juce ce biti "teski", sve ostalo ce biti hard linkovi. To ce valjda biti nesto poput increment backup-a

Ako negde gresim u razmisljanju, ubacite sta da ispravim :)

Zbog cega pisem ovaj post, zbog pitanja sta je u stvari praksa?
Necu imati za sada neki automatizovani restore. Ovo je ipak tu kao za svaki slucaj, ukoliko dodje do nekog kurslusa da rucno vratim. Nemam puno sajtova.
Ali posto dovlacim sve sa nekog drugog servera, WP i magento sajtove. Koji mozda u nekom momentu mogu imati i viruse, bila mi je prvo ideja da fajl owner bude root. A u stvari ja bi trebalo i da promenim permisije u recimo 400?
Ili uopste da ne razmisljam o tome?

Forum kao aplikacija na telefonu

Srodne teme