Sajt na vise servera

Pozdrav svim developerima, administratorima
Interesuje me da li ste se susretali sa sajtovima koji se vrte na vise servera, konkretno me interesuje sama struktura.

Projekat koji ja razvijam se vrti na 6 servera, 5 web-ova + jedan mocan Db.

Svi serveri su pod Linuxom, na webovima je Apache sa php-om, a na DB je MySql. Sa tim da se svakh 15 minuta sync-a content sa glavnog db servera na ostale webove.

E sad sajt je community tipa, ovdje nastaje konretan problem.
Znaci korisnici mogu da uploaduju svoje slike - slika ce se upisati u bazu da je dodana, ali content slike ce se sacuvati samo na serveru koji je posjetio taj user.

Sta je bolje rjesenje:
Napraviti jedan folder u DocumentRoot-u na svim webovima koji bi bio mountovani network drive koji bi bilo jedan dir na db serveru ili
Pisati sav content slika u bazu pa ih naknadno sync-ati po web serverima.
ili nesto trece

Ja sam se bas trudio al pola nisam skapirao...

U svakom slucaju (pod uslovom da sam pogodio sta zelis) mozes da u bazu upises u dodatnom polju na kom se serveru slika nalazi i to je to.
Ostavi dijagram trenutne arhitekture ili se podrudi da nam pojasnis sta tacno zelis...

Skoro sam se susreo sa jednim malo slicnijim problemom i resili smo ga na jedan treci nacin.....

Posto ne znam koje je vrste taj sajt, tj. da li je namenjen i world - wide korisnicima ili samo korisnicima sa ovih nasih podrucja.....
ali ako je ova prva stvar u pitanju, onda ti toplo preporucujem da u bazi drzis putanje slika, a da slike ako mozes smestas odmah na neki CDN (mnogo dobra stvar ).....e sad zavisi od toga kako CDN koji bi koristio radi...neki traze da imas jedan dir na svom serveru koji oni sinhronizuju u zadatom vremenu(ili preko headera) ili ako mozes da odradis direktan upload kod njih......

A da ne pricamo da ces tako i da ubrzas drasticno sajt a i da smanjis load na svoje servere(ovo je relativno, zavisi od CDN-a)....

P.S. A ako je ovo druga namena u pitanju, onda bi mozda mogao da bacis da ti jedan od servera bude dedicated samo za slike. Posto si rekao da je sajt community tipa onda predpostavljam da ce biti dostaaaaa slika....

Potpis

...

Recimo lokacija slika od korisnika se nalaze na /korisnik/($korisnikid).jpg, a u bazi se nalaze podaci o datumu uploada slike, approved itd.
Ako se povecaju posjete na sajtu ( load za neizdrzati :) ), znaci dodaje se novi web server, e sada ako se cuvaju u bazi lokacije slika po serverima to je lose rjesenje, ne bi bilo dobar load balancing. I u slucaju pucanja bilo kog servera content je izgubljen.

CDN sam projekat ne dopusta, odnosno zahtjevi ne dopustaju ;)

E sada recimo kada bih umjesto tog "korisnik" dira stavio da to bude mountovani dir na DB serveru (znaci nema potrebe za dizanjem apache-a na db-u) kakve su metode cachiranja tog contenta.

jedno pitanje: da li je broj uploada koje ocekujes velik? tj da li bi mogao da uputis korisnika koji radi upload na jedan server koji bi te fajlove slao ostalima, i kad se zavrsi upload zavrsi da ga vratis na glavni, na osnovu referera ili nekog drugog metoda na koji bi zapamtio odakle si dosao.

@Zmaj
Zanimljiva ideja, recimo na db-u da cuvam spisak servera i onda kada neki web upise nesto na svoj disk taj file momentalno salje na db da ih on raspodjeli na ostale. To bi zahtjevalo izmjenu citave aplikacije, posto na svakom pisanju po disku (slike) morala bi se pozvati "funkcija" koja bi uradila proces.

Kao najjednostavnije (najpogodnije za odrzavanje) rjesenje mi se namece ovo gore sto sam postavio, da li je neko radio sa tim.
Posto nema nikakvih izmjena na aplikaciji.

/korisnik/($korisnikid).jpg
uredis rewrite na neki php koji salje sliku izcitanu sa servera sa kojega ti hoces, u ovom slucaju zavisi od id.
I nemas puno izmena.

Potpis

_{[Ovu poruku je menjao VladaSu dana 14.06.2003. u 11:22 GMT+1]}

Zanimljiva tema.
Da li je moguce da neke foldere drzim na jednom hostu, a druge na drugom hostu a da sve to bude pod jednim domenom?

@VladaSu
Treba shvatiti zasto je novi web server uopste postavljen - da se rasporedi load. Tim nacinom to nece ici.

U medjuvremenu sam gledao rjesenja distributed file sistema. Uglavnom vecina ima nekih nepremostivih mana npr. svoj api koji se koristi.

Dosao sam do rjesenja da kod svakog pisanja i brisanja fileova (slika) kontaktiram sve server-e u lancu i saopstim im sta i gdje trebaju da sacuvaju.

Znaci imam recimo 3 servera a.domain.com, b.domain.com, c.domain.com. Korisnik dodje na domain.com i dns mu dodijeli npr b.domain.com server. Korisnik kada uspjesno uploaduje sliku u images/users/ server b.domain.com pravi requeste na ostale servere u lancu znaci


i


a sta radi sync.php mislim da je sasvim jasno.

print copy($_GET['source'].$_GET['loc'], $_GET['loc']) ? 'OK' : 'ERROR' ;

E sada ako neki od requesta file_get_contents vrati ERROR Request se zapisuje u bazu kako bi se kasnije pokusala sinhronizacija.

Sta misliste :) ?

@Mystery
Naravno da je moguce,

@rajkoBekrija
Mislim da se uopste ne moze raspravljati tako o toj temi...
sta uopste zelis postici ovakvim pristupom i kakav raspored masina imas, gde su one postavljene... sve su to ulazni parametri da bi dobio valjan sistem.
zasto bi sa jedne masine stalno pozivao fajlove na drugoj masini on-demand?
u ovoj temi si samo zakacio slike, tek u zadnjem si pomenuo php...

Mislim da php servere treba odvojiti od db servera i od servera za staticki sadrzaj i to je generalna sugestija. sve ostalo zavisi od rasporeda masina....

Potpis

Moj Veb Sajt HostCentar Blog
Aleksinac Južna Srbija TimeOut

@agvozden
Kakav tok predlazes :)

U prvom postu sam rekao da se radi o sajtu radjenom u php-u.

Inace dns za taj domain je podesen da daje random IP-e od 5 web servera, da se podijeli load.
Inace sve masine su u istom data centru.


Ne radim to vec na ostale masine kopiram novi content.

A sto se tice rasporeda servera mislim da je jasno 1 db ostalo web-ovi. I to bih zadrzao koliko je duze moguce, zbog projekta sto je tako u startu zamisljen.

A da imas poseban server samo za slike?

Potpis

Moj Veb Sajt HostCentar Blog
Aleksinac Južna Srbija TimeOut

Odlicno!
Kako da stavim 2 hosta pod 1 domen?

Ne znam sta konkretno hoces da uradis, mada ne bih isao u off

jedino sto mi pada na pamet je da pravis skriptu tako da ti automaski azurira sve servere, znaci na jednom se desi upload, i funkcija koja to odradi automatski radi kopiranje na ostale serve. Isto ovo vazi i za brisanje.

Sto se tice implentacije, mozes da stavis da ti odmah sam server kopira fajlove na ostale masine recimo preko pozivanja komande za kopiranje direktno preko exec... ili kao sto je predlozeno gore pozoves skript na ostalim serverima koji ce sam da povuce fajl sa servera koji je pozvao skriptu.ostaje ti jedina da definises negde listu servera, obezbedis skript ne pozove svoj server :), zastitis se da ne moze da se pozove ta skripta od spolja i to je to. Ono sto mi pada na pamet kao problem je da ako ti negde zabelezis u bazi da imas sliku na serveru, i treba da prikazes taj podatak, moze da se desi di ti se sa drugih servera ne pokaze slika. Ono sto mi pada na pamet moras da se obezbebedis da neki slog koji zavisi od te slike ne postane aktivan do momenta kada je slika dostupna na svim serverima.

Esad ne znam koliko bi ti brze bilo da imas poseban server samo za slike, jer slika ima mnogo vise kolicinski u kilobajtima, ali racnam da su procesorski malo zahtevni, tj. koliko bi to opteretilo taj jedan server. Nisam imao iskustva sa ovim pa nemogu da kazem da li je bolje imati 4 php /fajl servera ili 3php i 1fajl server ili bilo koji drugi odnos.

Zelim da deo fajlova za preuzimanje drzim na nekom drugom hostu.

molim te da otvoris drugu temu i tamo da postavis konkretno pitanje, a ne da upadas u konverzaciju.

Kako nece ici?
Ako imas jedan main server koji samo rasporedjuje sa kojeg servera ce se sta citati i obradjivati i na kraju samo prosledjivati gotov html onda si smanjiio load. Ne?
A src slike u html-u kada prosledjujes onda kazes src="server1.domain.com/images/slika.jpg" ili src="server2.domain.com/images/slika.jpg".

Main server ti samo prima zahteve i salje gotove html-ove, drugi serveri obradjuju request i salju slike.
Na tom main serveru opet mozes random da prosledjujes pomocnim u zavisnosti od loada pomocnih servera ili raspodeli recimo
ako je id ispod 500.000 onda server1 ako je iznad onda server2.

Potpis

_{[Ovu poruku je menjao VladaSu dana 14.06.2003. u 11:22 GMT+1]}