Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

backup host servera

[es] :: Linux :: backup host servera

Strane: 1 2

[ Pregleda: 9873 | Odgovora: 35 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: backup host servera07.10.2015. u 22:59 - pre 103 meseci
da pitam na ovom mestu, zbog toga sto se pominjao rsync


U folderu web_app imam gomilu fajlova i direktorijuma, i između ostalog direktorijum .svn.
Kako da rsync-ujem sve osim tog .svn direktorijuma iz web_app u neki drugi

Pokusao sam sve ove nacine i svaki put dovucem i .svn folder sa svim fajlovima unutar njega.

rsync -avze --exclude '.svn/' /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/


rsync -avze --exclude ".svn/" /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/


rsync -avze --exclude=".svn/" /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/
 
Odgovor na temu

Panta_
Aleksandar Pantić
Kragujevac

Član broj: 214959
Poruke: 790



+162 Profil

icon Re: backup host servera08.10.2015. u 07:49 - pre 103 meseci
Gde se nalazi taj .svn dir, u root web_app ("/var/www/vhosts/pic.events/svn/web_app/.svn")? Probaj sa -R (--relative) opcijom:
Code:
rsync -avze -R --exclude '.svn' /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/

Ili sa --cvs-exclude:
Code:
rsync -avze -c --exclude '.svn' /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/


Citat:
-C, --cvs-exclude

This is a useful shorthand for excluding a broad range of files
that you often don’t want to transfer between systems. It uses a
similar algorithm to CVS to determine if a file should be
ignored.

The exclude list is initialized to exclude the following items
(these initial items are marked as perishable -- see the FILTER
RULES section):

RCS SCCS CVS CVS.adm RCSLOG cvslog.* tags TAGS
.make.state .nse_depinfo *~ #* .#* ,* _$* *$ *.old *.bak
*.BAK *.orig *.rej .del-* *.a *.olb *.o *.obj *.so *.exe
*.Z *.elc *.ln core .svn/ .git/ .hg/ .bzr/


then, files listed in a $HOME/.cvsignore are added to the list
and any files listed in the CVSIGNORE environment variable (all
cvsignore names are delimited by whitespace).

Finally, any file is ignored if it is in the same directory as a
.cvsignore file and matches one of the patterns listed therein.
Unlike rsync’s filter/exclude files, these patterns are split on
whitespace. See the cvs(1) manual for more information.

If you’re combining -C with your own --filter rules, you should
note that these CVS excludes are appended at the end of your own
rules, regardless of where the -C was placed on the com‐
mand-line. This makes them a lower priority than any rules you
specified explicitly. If you want to control where these CVS
excludes get inserted into your filter rules, you should omit
the -C as a command-line option and use a combination of --fil‐
ter=:C and --filter=-C (either on your command-line or by
putting the ":C" and "-C" rules into a filter file with your
other rules). The first option turns on the per-directory scan‐
ning for the .cvsignore file. The second option does a one-time
import of the CVS excludes mentioned above.
 
Odgovor na temu

tuxserbia
Oleg Vučković
urandom
/dev/null
Niš

Član broj: 4094
Poruke: 867

Jabber: tuxserbia@elitesecurity.org
ICQ: 65355850
Sajt: 127.0.0.1


+112 Profil

icon Re: backup host servera08.10.2015. u 07:51 - pre 103 meseci
Koje verzije, rsync, linux, radiš u lokalu ili remote?

-e povlači podrazumevano ssh, mada možeš da promeniš.

Ovo radi bez problema, namerno sam napravio pet-šest poddirektorijuma, zaobilazi ih normalno, nevezano za dubinu.

rsync -avz --exclude "*.old" --exclude "*.jpg" --exclude ".svn/" SOURCE/ DEST/

Možda bi ti bilo bolje da proučiš malo i .cvsignore, pa uz "-C" možeš lepo da skratiš kobaje od komandi.
Kako se dele racunarski programi?
Na bagovite (sa greskama) i ispravne (bez gresaka). Ovi drugi su hipoteticki.
***GPL-ovano by @Shadowed

"Ja za email koristim outlook express u virtualnoj mašini, tako da s te strane nijedan linux nije
dorastao XP-u." - pisac
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: backup host servera08.10.2015. u 08:00 - pre 103 meseci
jeste bilo u lokalu ovaj put, a -e sam ostavio od proslog puta :/
zakacio sam se sa ssh ali sam kopirao sa jednog mesta na drugo na istom serveru.

Panto, da u root web_app

sad cu da probam i jedno i drugo


edit:
to je to
-R mi je pomoglo

hvala

iskoristio sam ovu pantinu
rsync -avze -R --exclude '.svn' /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/


e sad... kada sam dodao --delete

rsync -avze -R --delete --exclude '.svn' /var/www/vhosts/pic.events/svn/web_app/ /var/www/vhosts/pic.events/pum.pic.events/


nije mi uspelo.

Odnosno, dest folder, pum.pic.events/ je imao prethodno neke fajlove u sebi, sa ovom gore komandom su se sinhronizovali svi fajlovi, ali su i ostali neki fajlovi nepotrebno kojih je bilo u dest folderu, ali ih nije bilo u source folderu.


Dakle, hocu da mi bude 100% identican dest folder, source folderu, s tim sto zelim da excludujem .svn/ folder

[Ovu poruku je menjao CoyoteKG dana 08.10.2015. u 09:10 GMT+1]
 
Odgovor na temu

Panta_
Aleksandar Pantić
Kragujevac

Član broj: 214959
Poruke: 790



+162 Profil

icon Re: backup host servera08.10.2015. u 08:42 - pre 103 meseci
Koju gresku prikaze? Mozda nema dozvole da ih ukloni. Pogledaj izlaz komande.
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: backup host servera08.10.2015. u 09:23 - pre 103 meseci
Sada mi je OK. O_o
Radi mi komanda.
Sad sam još zbunjeniji :)
 
Odgovor na temu

tuxserbia
Oleg Vučković
urandom
/dev/null
Niš

Član broj: 4094
Poruke: 867

Jabber: tuxserbia@elitesecurity.org
ICQ: 65355850
Sajt: 127.0.0.1


+112 Profil

icon Re: backup host servera08.10.2015. u 10:05 - pre 103 meseci
rsync je toliko moćan, da prosto nije humano. Ali zato je i "malo" komplikovan za razumeti.

Jesi pročitao man stranu?

imaš brdo opcija pod "delete", ovo tvoje briše samo već sinhronizovane direktorijume.

Moj savet ti je da, u lokalu, ili kroz ssh svejedno, kao običan korisnik, napraviš SOURCE i DEST direktorijume, napuni prvi glupostima i vežbaj. Proveri sve opcije i filtriranje. Brat bratu tri sata odvojiš, i posle ima ti nas da savetuješ.
Kako se dele racunarski programi?
Na bagovite (sa greskama) i ispravne (bez gresaka). Ovi drugi su hipoteticki.
***GPL-ovano by @Shadowed

"Ja za email koristim outlook express u virtualnoj mašini, tako da s te strane nijedan linux nije
dorastao XP-u." - pisac
 
Odgovor na temu

Panta_
Aleksandar Pantić
Kragujevac

Član broj: 214959
Poruke: 790



+162 Profil

icon Re: backup host servera09.10.2015. u 15:03 - pre 103 meseci
Citat:
#!/bin/bash
# My first script

sleep 2
rsync -avzh /var/backups/day-6/ /var/backups/day-7/
sleep 2
rsync -avzh /var/backups/day-5/ /var/backups/day-6/
sleep 2
rsync -avzh /var/backups/day-4/ /var/backups/day-5/
sleep 2
rsync -avzh /var/backups/day-3/ /var/backups/day-4/
sleep 2
rsync -avzh /var/backups/day-2/ /var/backups/day-3/
sleep 2
rsync -avzh /var/backups/day-1/ /var/backups/day-2/
sleep 2
rsync -avzh /home/ceman/Documents/ /var/backups/day-1/
sleep 2

DAYOFWEEK=$(date +"%u")
if [ "$DAYOFWEEK" == 7 ]
then
rsync -avzh /var/backups/sunday-4/ /var/backups/sunday-5/
sleep 2
rsync -avzh /var/backups/sunday-3/ /var/backups/sunday-4/
sleep 2
rsync -avzh /var/backups/sunday-2/ /var/backups/sunday-3/
sleep 2
rsync -avzh /var/backups/sunday-1/ /var/backups/sunday-2/
sleep 2
rsync -avzh /var/backups/day-1/ /var/backups/sunday-1/
fi

sleep 2

DAYOFMONTH=$(date +"%d")
if [ "$DAYOFMONTH" == 01 ]
then
rsync -avzh /var/backups/month-5/ /var/backups/month-6/
sleep 2
rsync -avzh /var/backups/month-4/ /var/backups/month-5/
sleep 2
rsync -avzh /var/backups/month-3/ /var/backups/month-4/
sleep 2
rsync -avzh /var/backups/month-2/ /var/backups/month-3/
sleep 2
rsync -avzh /var/backups/month-1/ /var/backups/month-2/
sleep 2
rsync -avzh /var/backups/day-1/ /var/backups/month-1/
fi

S tim, sto je ovo samo pocetak,
Posle ovoga planiram prvo skriptu koja ce da prvo uradi dump svih baza, pa onda rsync na remote serveru u neki backup folder na istom tom serveru


Ne znam dokle si stigao sa skriptom, ali mogao bi ovu rsync komandu da stavis u neku funkciju, pa posle sa istom da pozoves rsync ili sta vec, na primer:
Code:
backup () {
    rsync komanda 2> error.log
    if [ $? -ne 0 ]; then
        cat error.log | mail -s "Error" $(whoami)
fi

Takodje, ovo DAYOFWEEK=$(date +"%u") mozes da zamenis sa if [ $(date +%u) -eq 7 ], isto i DAYOFMONTH, pa pozoves backup funkciju. Ove daily, weekly i monthly direktorijume mozes da definises nekom promenljivom, npr: dest=(daily weekly monthly) i posle ih prosledis funkciji kao parametar.

Pogledaj i: http://tldp.org/HOWTO/Bash-Prog-Intro-HOWTO.html
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: backup host servera10.10.2015. u 10:29 - pre 103 meseci
Nisam je završio još :/
Na poslu letim sa jedne na drugu stvar i ništa detaljno ne završim.
Ali pogledaću čim se vratim na to
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: backup host servera29.12.2016. u 16:54 - pre 88 meseci
Godinu i po dana kasnije.
Tada nekada sam napravio tu neku skriptu ali više nije bilo potrebe za takvim backupom.
Morao sam sve vreme ručno jer su nam sajtovi bili kod drugih hosting kompanija, i samo FTP pristup. To sam već pitao u nekoj drugoj temi, i rešio. Spremam skriptu i za to :)

E sad, Iskrslo je da moram da bekapujem svakodnevno, na sličan način kao što sam u ovoj temi u prvom postu pitao. Zato bih se nadovezao na ovu temu.
Destination server je u pitanju Windows. Pošto je u pitanju 5GB fajlova, gde svakodnevno izmena ima po samo par desetina MB, suludo mi je da kopiram svaki put po svih 5GB za svaki dan posebno. Pogotovo što su serveri na različitim udaljenim lokacijama.

Htedoh da vidim kako funkcioniše incremental rsync, i naišao sam na neko jako matoro uputstvo koje se podudara sa ovim što sam u prvom postu nacrtao, i evo sad ponovo, više da bih skapirao vizuelno šte se dešava.


mv day3/ day4/
mv day2/ day3/
mv day1/ day2/
cp -al backup_directory/ day1/
rsync -a --delete source_directory/ backup_directory/

1. Ako sam dobro razumeo -al komanda će mi napraviti hard linkove. Hard linkovi valjda ne zauzimaju nikakav prostor, ali u nekom momentu ako ih samo iskopiram na drugi server (recimo zbog restore) u tom momentu će to postati pravi fajlovi, odnosno duplikati?
2. Interesuje me kod mv, i dalje su to hard linkovi kad ih pomerim? cp valjda ne, kao sto pitah u prethodnom pitanju
3. Na ovom primeru gde sam iscrtao razliku u fajlovima, pošto taj fajl koji je različit, ne postoji na drugom mestu (prepisan je originalni), on više nije hard link, nego realan pravi fajl? Što znači da će recimo ceo folder "Day4" da mi bude u stvari težak u MB koliko je težak daj neki fajl koji u stvari više nije hard link?.
4. Ako bih u stvari hteo da olakšam "restore", odnosno da nemam gomilu foldera sa fajlovima, nego da spakujem sve u jedan zip, šta bi se desilo kad bih baš taj Day4 sa tim hard linkovima zipovao?


preedit:
U trenutku pisanja posta vidim da postoji i neka rsync komanda --link-dest= ali je još nisam skapirao.
Prikačeni fajlovi
 
Odgovor na temu

maksvel

Moderator
Član broj: 107376
Poruke: 2417

Jabber: maksvel
Sajt: maksvel.in.rs


+161 Profil

icon Re: backup host servera29.12.2016. u 20:26 - pre 88 meseci
Nisam se baš mnogo udubljivao, pa ću samo da pojasnim oko hard-linkova.
Hard link predstavlja "ulaz" u fajl. Kada napraviš hard-link, kreira se još jedan taj "ulaz", koji ukazuje na isti sadržaj, u stvari postaje ravnopravan kao "original", koji je u stvari isto jedan hard-link.
Ako obrišeš jedan hard-link, samo se smanjuje broj linkova u evidenciji u tabeli i-nodova. Ako obrišeš sve hard-linkove, briše se fajl.
Ako kopiraš fajl preko bilo kog linka, kopira se i sadržaj, da.
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: backup host servera29.12.2016. u 21:42 - pre 88 meseci
Ako kopiram fajl sa "cp", ili hard link, zatim izmenim sadrzaj, original ostaje netaknut?
Ako "mv" fajl odnosno hard link, i izmenim ga, izmeniće se i original?
Ako zipujem hard linkove, pa ih posle raspakujem na drugom mestu, oni vise nemaju nikakve veze sa originalima?

Koja razlika je izmedju cp -l i ln?
 
Odgovor na temu

maksvel

Moderator
Član broj: 107376
Poruke: 2417

Jabber: maksvel
Sajt: maksvel.in.rs


+161 Profil

icon Re: backup host servera30.12.2016. u 10:42 - pre 88 meseci
Kad kopiraš koristeći hard link, kopira se sve na šta se on odnosi - ako koristiš normalan cp. Ako ideš sa cp -l, onda pravi samo link, na isti sadržaj.
cp -l i ln daju isti rezultat.

Znači, hard-linkovi su u stvari fajlovi kada radiš sa njima, nebitno je da li kopiraš koristeći "original" ili hard-link, svakako sve "komplet" se kopira i imaš nezavisnu kopiju.

Sve ovo možeš lagano da proveriš
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: backup host servera30.12.2016. u 12:00 - pre 88 meseci
Dakle moguce je koristiti hard linkove kao incremental backup.

OK, sad sam samo zapucao oko toga sto se ovi hard linkovi odnose na fajl.

Kako cu sad odraditi ako taj jedan folder na source racunaru ima hiljade podfoldera i desetine hiljada fajlova...

Doduše komanda

cp -al backup_directory/ day1/

Bi trebalo rekurzivno da iskopira linkove svih fajlova iz foldera backup_directory/ u day/


U svakom slucaju, sad sam skinuo Kali linux, potreban mi je za jos kojesta, pa cu da instaliram VM i da probam sve varijante :).

hvala
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: backup host servera30.12.2016. u 15:46 - pre 88 meseci
Probao, radi
Ajd da napišem i ovde šta uradih, možda za 10 godina mi bude zanimljivo da pogledam :P

Ovo mi je struktura foldera.
root@kali:/var/backup# ls -l
total 3688
-rw-r--r-- 1 root root 3696889 Dec 30 10:16 backup.log
drwxrwx--- 16 544 197121 4096 Dec 24 17:52 bckp
drwxrwx--- 16 544 197121 4096 Dec 24 17:52 day1
drwxr-xr-x 2 root root 4096 Dec 30 10:36 day2
drwxr-xr-x 2 root root 4096 Dec 30 10:36 day3
drwxr-xr-x 2 root root 4096 Dec 30 10:37 day4
drwxr-xr-x 2 root root 4096 Dec 30 10:37 day5
drwxr-xr-x 2 root root 4096 Dec 30 07:49 day6
drwxr-xr-x 2 root root 4096 Dec 30 07:49 day7
drwxr-xr-x 2 root root 4096 Dec 30 07:49 month1
drwxr-xr-x 2 root root 4096 Dec 30 07:49 month2
drwxr-xr-x 2 root root 4096 Dec 30 07:49 month3
drwxr-xr-x 2 root root 4096 Dec 30 07:49 month4
drwxr-xr-x 2 root root 4096 Dec 30 07:49 month5
drwxr-xr-x 2 root root 4096 Dec 30 07:49 month6
drwxr-xr-x 2 root root 4096 Dec 30 07:49 week1
drwxr-xr-x 2 root root 4096 Dec 30 07:49 week2
drwxr-xr-x 2 root root 4096 Dec 30 07:49 week3
drwxr-xr-x 2 root root 4096 Dec 30 07:49 week4


Prvo sam uradio rsync sa remote win servera
rsync -avhP -e ssh --log-file="/var/backup/backup.log" [email protected]:"/cygdrive/f/TMP/Documents/Uploaded/" "/var/backup/bckp/"


A zatim
root@kali:/var/backup# cp -al bckp/. day1/


Tako da kad izmerim velicinu oba foldera, i sa "original" fajlovima, i sa hard linkovima, oba su prilicno velika.
A kada izmerim njihov parent folder, nije sabran, nego nesto vrlo malo veci.

root@kali:/var/backup# du -hs .
6.3G .
root@kali:/var/backup# du -hs bckp/
6.2G bckp/
root@kali:/var/backup# du -hs day1/
6.2G day1/


Još samo da spakujem to u skriptu
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: backup host servera27.04.2017. u 17:04 - pre 84 meseci
Evo mene opet :)

Dakle imam skriptu za backup svih baza sa remote servera.
Nesto poput ovog.
Zbog ovako "vidljive" sifre kreirao sam neki cs-backup user koji ima permisije samo
SHOW DATABASES, SELECT, LOCK TABLES, RELOAD, SHOW VIEW

Code:
TIMESTAMP=$(date +"%F")
BACKUP_DIR="/var/backup/WebSRV/script-backup/$TIMESTAMP"
MYSQL_USER="cs-backup"
MYSQL=/usr/bin/mysql
MYSQL_PASSWORD="SCaZK218YvGz+#zG"
MYSQL_HOST="websrv.site.com"
MYSQLDUMP=/usr/bin/mysqldump

mkdir -p "$BACKUP_DIR/mysql"

databases=`$MYSQL --host=$MYSQL_HOST --user=$MYSQL_USER -p$MYSQL_PASSWORD -e "SHOW DATABASES;" | grep -Ev "(Database|information_schema|performance_schema|psa|apsc|sys|horde|mysql|phpmyadmin_A7QQU1Y1MfJs|roundcubemail)"`

for db in $databases; do
  $MYSQLDUMP --force --opt --host=$MYSQL_HOST --user=$MYSQL_USER -p$MYSQL_PASSWORD --databases $db | gzip > "$BACKUP_DIR/mysql/$db.gz"
done


Pored toga imam za fajlove skriptu poput ovog
Code:

BACKUP_DIR="/var/backup/today"

mkdir -p "$BACKUP_DIR/files"

#site1.com webspace
rsync -ahR --no-o --no-g --delete -e ssh [email protected]:"/var/www/vhosts/./site1.com/httpdocs" "$BACKUP_DIR/files"
rsync -ahR --no-o --no-g --delete -e ssh [email protected]:"/var/www/vhosts/./site1.com/sub.site1.com" "$BACKUP_DIR/files"

#site2.com webspace
rsync -ahR --no-o --no-g --delete -e ssh [email protected]:"/var/www/vhosts/./site2.com/httpdocs" "$BACKUP_DIR/files"
rsync -ahR --no-o --no-g --delete -e ssh [email protected]:"/var/www/vhosts/./site2.com/sub.site2.com" "$BACKUP_DIR/files"



E sad, plan je da svakodnevno baze i fajlove pakujem u neki /var/backup/today/ folder
A odatle sa
Code:
cp -al /var/backup/today/ /var/backup/(date +"%F")/


Na ovaj nacin samo promenjeni fajlovi u odnosu na juce ce biti "teski", sve ostalo ce biti hard linkovi. To ce valjda biti nesto poput increment backup-a

Ako negde gresim u razmisljanju, ubacite sta da ispravim :)

Zbog cega pisem ovaj post, zbog pitanja sta je u stvari praksa?
Necu imati za sada neki automatizovani restore. Ovo je ipak tu kao za svaki slucaj, ukoliko dodje do nekog kurslusa da rucno vratim. Nemam puno sajtova.
Ali posto dovlacim sve sa nekog drugog servera, WP i magento sajtove. Koji mozda u nekom momentu mogu imati i viruse, bila mi je prvo ideja da fajl owner bude root. A u stvari ja bi trebalo i da promenim permisije u recimo 400?
Ili uopste da ne razmisljam o tome?
 
Odgovor na temu

[es] :: Linux :: backup host servera

Strane: 1 2

[ Pregleda: 9873 | Odgovora: 35 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.