24 x 7

Da bi malo oziveo ovaj forum sledeci zadatak.

Firma AA ima 100 radnih mesta, i 3 poslovnice sa po 10 radnih mesta. Na svakih 5 radnih mesta ima jedan printer. Koristi Windows 2000 servere (da se ne bi pretvorilo u diskusiju koji OS), Exchange, DataBase od 140 Gb, Application servers (16 procesora + 32 GB RAM), fileserver, terminal servers.

Problem:
Treba postaviti brz network, dobar backup i sto je moguci manji down-time (99,99).Novac nije problem, ali u slucaju dva dobra resenja prednost ima jeftinije.

Pozar u citavoj zgradi, i ostale katastrofe se ne racunaju (mada ima i za to resenje). Nestanak struje se mora resiti kao i pozar u prostoriji sa serverima.


Zadatak je kompleksan, zahteva doom thinking....'

Oni koji zele da rade kao administrator/IT manager ce se sigurno sresti sa problemima ovog tipa u praksi.

---

hehe, malo razonode, uvek valja L;)

Ovako,
evo ja bih posao od osnove da za svakih 5 terminala je potreban po jedan centralni na kojem bi bio deljeni stampac. A posto je naznaceno da je potrebno koristiti i terminal server, ta masina bi ujedno bila i to.

Dalje, potrebno je koriscenje Exchange, i kojekakvih veliiikih baza od po 140 GB, tu nije receno da li je baza nezavisna jedna od druge, ali evo pretpostavimo da se sve baze trebaju replicirati sa jednom ( master ) bazom. Na hardware cu kasnije da se nadovezem. Smatram da bi za tu vecu ( centralnu ) poslovnicu, kako vec sasvim bilo ok da direktno interaktuje sa master bazom. Dok bi se replike u ostale 3 manje poslovnice replicirale preko zasbnog ( a u isto vreme i brzog linka ). Ukoliko ne postoji mogucnost za dedicated vezu, nego se mora koristiti Internet u bilo kojoj varijanti ( VPN, ssh tunel ... ) utom gore ( i ne sigurnije ).

Daklem to bi bilo to.
Sad hardware.
S'obzirom da je pomenuto da pare nisu bas problematicne, i da je u upotrebi 16-to procesorski serveri tu bi bilo potrebno najmanje 4 takva ( master baza + 3 replike ). Za obodne terminal server sa printerima ne bi bila potrebni bas takvi parcici hardvera, kao sto je gore pomenuti ( ali sve zavisi od vrste posla cime se bave teminali ). Neka bude najbednija varijanta sa dual procerskim sistemom.
I neka na terminalima budu soldini P4 racunari.
Naravno svi hard diskovi u serverskim hostovima bi trebalo da budu iz SCSI familije, dok je na RS-ama, opet ponavljam, sve u zavistnosti od prirode posla.

Znaci sve ukupno je to negde oko:
130 RS-a.
11 terminal servera
11 stampaca
4 mainframe-a


Stvarno nisam upucen u cene kako hardvera, tako ni software za tako nesto ( pomenuta je windows based varijanta ), tako da bih zamolio nekog drugog da podvuce $crtu$ na ovu moju "viziju" resenog problema.





$0.02

---

ps: veoma sumnjam u 99.9% uptime uz windows resenja, ali ajde ...

---

;) u tome je i poenta da radi

---

Nazalost problem jos nije resen.

Da pojasnim:

Postoji JEDAN database server koji je povezan sa serverima na kojima se vrti aplikacija koja koristi database. Baza podataka je jedinstvena od 140 GB i jos ce rasti. Ovo nije bajka nego problem iz prakse.
Za servere koji rade sa bazom podataka je potrebno 16 procesora, da li ce biti jedan server sa 16 procesora ili 16 sa jednim procesorom to je vec na vama da odlucite. Pred ovoga je potrebno X-terminal servera, sve RS-e imaju terminal client. Postoji jos jedan File/printer server i jos jedan Exchange server u mrezi.

E sada sve to treba lepo opisati sa obrazlozenjem kako i zasto. I treba naci resenje za backup. I sve treba da radi sa 99.99% uptime.

Pitanja su (za pocetak):

1. Kako podesiti diskove na serverima (RAID-1, RAID-5)
2. Kako povezati Servere
3. Kolika treba da bude poprecna veza izmedju centra i poslovnica
4. Koliko Terminal Servera
5. Koliko App. Servera
6. Backup, kako?
7. Sta u slucaju pozara
8. Sta u slucaju pada Database servera
9. Sta u slucaju nestanka struje
10. ......

---

Ok, stvari se kristalisu, koristi se X na terminalima. To samo znaci delatnost terminala nije nikakav graficki dizajn, ili mulitmedija.

1. RAID je ... ipak samo RAID, ne vidim tu neke posebne potrebe, osim da se mora ici na hardverski RAID, softverska varijanta ne dolazi u obzir. I to se mora ici na RAID varijantu na svim opsluzujucim masinama, znaci i na mainframe racunarima, tako i na terminal serverima ( print queue, trenutni podaci sa RS-a ).

2. Servere unutar jedne poslovnice povezati internom mrezom, i to u vidu prstena prstenova ( moguca varijanta: Token Ring ). Znaci:
5 RS + 1 TS cine jedan prsten imaju izlaz ( gateway ) prema link-u na kojem su ostali prstenovi (takodje moze svi prstenovi da se ubadaju u switch ).
20 puta takav prsten cine glavnu poslovnicu ( 100 RS-a ). Mainfreme(ovi) idu direktno u switch, bez subnet petljancije.


3.Manje poslovnice sa glavnom poslovnicom bi bilo pozeljno povezati sa zasbnom privatnom linijom. Varijanta da se komunikacija izmedju poslovnica obavlja preko Interneta je nesigurna u smislu da postoji opasnost za 99.9% uptime ( funkcionalnost mreze ), a i u smislu nesigurnosti podataka ( industrijska spijunaza L;)) ).
Samim tim sto je veza iznajmljena mogucnosti su razne; dual T3 ne bi bio los zar ne ? L;))

4. Ovde ide i mala ispravka: gore sam napisao da je potrebno 11 terminal servera (TS) --netacno. Potrebno je (100/5)+3*(10/2) TS-a, odnosno 26 TS-a i isto toliko stampaca.

5. Pa ako je u igri 16-to procerski App. Server, tu onda nema dileme. Jedan jedini je doista dovoljan.
btw, upotreba jedne vise procesorske masine sada tu moze biti diskutabilna. Ukoliko firma ima tendenciju rasta, a samim tim i opterecivanjem baze ( sto je pomenuto ), dovodi se u opciju i upotreba cluster app. servera. Zasto ? Zbog toga sto je upotrebom klastera balans izmedju eventualnih kvarova app. servera, zahteva za prosirenjem baze, i cena odrzavanje usaglasen, jeftiniji, i jednostavniji.
Ispad iz funkcije jednog segmenta klastera nece dovesti u pitanje rad celokupnog klastera, zar ne ?
Zapitajmo se koliko bi kostao eventualni kvar na jednom klasteru, a koliko na jednoj vise procesorskoj masini ?
Ne bih da se na ovo nadoveze diskusija cluster vs. neka_tamo_sunova_perverzija, da se vratimo nasoj 24x7 firmi...

6. Backup - sto cesci, sto cesci i sto cesci. To je vise subjektivna stvar. Kako? Hm, pa sigurno ne bismo snimalo >140 GB na opticke medijume. Ali, ako pare nisu problem moze da se uzme jedan lep DVD writer, pa da se nasnima svako vece na DVD RAM medijume. Ako nista, moze da se vrsi automatizovani back-up na dedicated masinu, koja je pak van te zgrade, na drugom kraju sveta, ili kako vec ...

7. RUN FOR UR LIVES ! l;))) ... Hm, pa naravno uvek imamo back-up, zar ne ?

8. Za podatke videti backup sistem. A ako gledamo 99.9% uptime, onda se moze razmisljati o varijanti master - slave(s). Gde ce se slejvovi sync-ovati u realtime-u. I naravno automatsko promovisanje slave-a u master u slucaju pada prethodnog master-a ( nesto slicno kao odnos PDC i BDC u NT domenu ).

9. UPS-ovi na svim terminal i app. serverima.



------
Doista interesantna tema, bice ovde jos dosta diskusija. Ima neko sa nekom drugom idejom ?
ps: ovo postaje sticky ...

---

Ups mislio sam na broj "X" terminal servera... nema veze

1. Razlika je velika izmedju Raid-1 i Raid-5. Znaci za svaku masinu treba odluciti posebno koji RAID ce se koristiti (ili kombinacija RAID-1 I RAID-5)

2. OK. Mada bih ja ostao pri Ethernetu, brzina mreze do RS-a nije bitna (terminal client-u treba max. 20 Kb/s). Kako povezati servere ;o)

3.OK ali kolika linija treba da bude? Ti nabacujes T3? zasto? 10 RS * 20 Kb/s = 200 Kb/s + prnt job's = 256 Kb/s bi trebalo da bude dovoljno

4. Obicno se racuna 12-16 korisnika po procesoru. RAM 64+ MB po korisniku + RAM za OS.

5. :o) 8x 2 procesora

6. hmmm DVD je spooooooooooooor.... treba 140 GB i prebaciti na backup + gubis podatke od citavog dana ako moras backup da vratis oko 6 uvece

7. Ovo moze mnogo bolje ;o)

8. Samo je jedna masina Database server.... Master/slave je jedna opcija ali ti onda trebaju 2 masine sa bazom od 140 GB

9. Ako nestane struje u centralnoj firmi znaci da ni poslovnice ne mogu da rade. Bez UPS-a nigde ;o)

Ima li jos neko ideja? Ili je Bojan jedini?

---

Oke, mozda sam ga malo preterao sto se tice veze izmedju RS-a i TS-a, kao i izmedju servera, to je verovatno neka zaostala skolska realizacija kod mene. Budimo realni, ja nikad nisam radio u nekom takvom okruzenju, i jednostavno ne verujem da bih mogao da ocenjujem to po osecaju, no nebitno ...

Jos jednom bih se vratio na RAID. Zbog cega toliko potenciras na tacnom odredjivanju tipa RAID-a? Zar tu ne bi bilo koja ( hardverska ) RAID varijanta uspela ?

---

Raid-1 je brzi od Raid-5, ali za Raid-1 ti treba duplo vise diskova, ja sam stavljao Raid-1 na 1 kanalu za OS, Raid-1 na 2 kanalu sa swap file i Raid-5 za database. Konfiguracija database servera je bila znaci 2x 9GB (9GB neto) + 2 x 9 GB (9GB neto) + 16x 18 GB (270 GB neto) + 2x 9 GB i 4x 18GB hot redudant.

Ali jos uvek postoji samo jedan DB server (single point of failure).... zadatak jos nije resen. ;o)

---

Hm, ne znam da li ti je promaklo, ali sugerirao sam varijantu gore ( stavka 8 ) gde ce postojati master DB server sa X ( nepoznata ) replika, i gde ce se baze syncovati u realtime-u i imati odnos slican PDC i BDC u NT domenima. Nadam se da tako nesto vec postoji L;)

---

Nije mi promaklo ali je resenje:

1. Skupo, znaci da ce s za svaku repliku morati da stavis database sa 140 GB + backup unit...itd, itd
2. U slucaju da Master "padne", slave moze samo da cita podatke...

...ima drugo resenje...

---

Ako ti pare nisu problem najbolje (i najskuplje) resenje ti je shadow server na fizicki (relativno) udaljenoj lokaciji gde se vrti replika database sa idtenticnom configuracijom,podacima itd

U slucaju kalamiteta (pozar,poplava,zemljotres itd ...) shadow server preuzima automatski ulogu master servera i produkcija je up-and-running

Sto se backupa tice preporucujem jedan od HP-ovih robota D7000,9000 ili neki veci sa Omnibackom ili Legatom kao softwerskom podlogom - U zavisnosti od strukture backupa (inkrementalni ili full svakog dana/vikenda/svakih par dana itd praviti dupli bakup (na dva tejpa) i jedan drzati u (dobrom) vatrostalnom sefu a drugi na fizicki udaljenoj lokaciji po mogucstvu isto u vatrostalnom sefu ... naravno neko ce morati ili da vozi tejpove i skladisti ih u sef svakog dana/vikenda/meseca ili da ih salje internom postom ali ti je onda zagaratovano da ipak imas relativno dobar backup ako se recimo desi pozar i postigne se temeratura koji sef nije dizajniran da izdrzi (inace moguce je da tejpovi ne budu fizicki osteceni ali da je zbog toplote postignute u sefu podaci koji su na njima budu beskorisni...)

---

Shadow server je jedno od resenja, mada imas masinu koja nista ne radi, u slucaju pada DB servera je dobro resenje ali ne i u slucaju pozara. DB server bez App servera nema fukciju + teminal serveri se isto tako gube, znaci da korisnici ne mogu da koriste program. Ne znam koliko ti je poznato resenje sa CUC-om, sadasnjim Getronics-om. Zasto niko ne razmislja o cluster-u? Losa iskustva?

Sto se tice backup-a, :o) tacno tako, dupli backup, jedan ostaje u sefu (moze da izdrzi 9 sati 1100 C i pad sa 5 m.), drugi ide "negde daleko"... samo sto bih ja koristio Ultrium 220, ima 3 prednosti: brzina backup-a (teoretski 110 GB/sat) i zbog kapaciteta 220 GB teoretski, recimo da je to nekih 150 GB u praksi i OBDR (one button disaster recovery).

Meni ne treba, ovo sam radio pre dve godine, nego malo da vas razmrdam i da vidim da nisam negde pogresio.

---

To sto ti ne treba nama bas nista i ne znaci, osim na kraju da nam otkrijes kako si ti to realizovano l;)

Sto se tice klastera, ja sam to vec gore pomenuo, ali samo u app. server ulozi. Po meni je to mnogo bolja solucija nego jedistveni viseprocesorski unit.

PS: Na replika, iliti "shadow" masinama, kako je Perun gore pomenuo ne verujem da bi bilo potrebe za back-up uredjajima. Prvo, sto back-up sistem kosta isto koliko i celokupan PC sa pooovelikim hard disk uredjajem, a + sto se transport back-up medijuma dodatno komplikuje.

---

Backup moras imati, ako koruptujes database to ce se replicirati na druge servere tako da je moras vratiti nazad. Backup- unit sa autoload sistemom kosta negde oko 12.000-13.000 Eura (Ultrium ili SDLT). Database server + 4 Apps servera su kostala negde oko 350.000 eura (samo hardware).

Zasto ne bi napravio cluster izmedju jednog App i DB servera?

Moje resenje cu ti poslati u ponedeljek, sema mi je na poslu.

---

Jos jedna opcija je takovani CEC - Computer Emercency Centar, verovatno postoji tako nesto i u tvojoj zemlji - U principu zabunkerisan u ultra-obezbedjen objekt (protiv-pozara,zemljotresa,poplava i direktinih pogodaka nukleranim naoruzanjem (ne, zezam se ...:-) gde ti se vrti celukna shadow-produkcija sa automatskim updateom via dedikated fiber-optic networka (radio sam neko vreme u takvom centru) strava - samo sto su mi cekirali sve rupe pri izlasku i ulasku i cekirali mi celokupnu istoriju i porodicno stablo od prvog srpskog ustanka :-))

Tu su uglavnom vrte mission critical systemi i pri nekom (vecem) sranju - jednostavno preselis ceo System Management team tamo (naravno ako su jos zivi ) i nastavis dalje gde je s***** pocelo ... Naravno to kosta shitloads of money sto se tice support contrakta ali oni obezbedjuju hardware i odgovorni su za sve ostalo tako da moze da bude jeftije resenje kad se sve stavi na papir ...

Backup moras da imas uvek - cak iako imas automaski update preko neke vrste dedicated networka - Zasto - Murfi nikad ne spava i ti ne zelis da izgubis posao ...)

---

O je sad vidim da si u u NL kao i ja ... CUC ...mislis Computer Uitwijk Centrum - xe xe - bas sam tamo i radio ...

Javni se na mail ako hoces da procaskamo malo ...

PS- Kakav korist od clustera ako ti izbije pozar i iskuvati ti ceo cluster servera ?

---

kakvu korist imas od remote DB servera ako nemas App server i/ili terminal servere ;)...bolje backup u CUC, routeri se podese da idu tamo, pa telefon. S

Mi smo bili korisnici CUC-a, za Unisys A6 NS. Moje kolege su i bile tamo 2 dana.

---

U--G jel bi mogao da postujes tvoje resenje datog problema.

---

Evo kako smo mi resili, prvo cu opisati hardware pa onda Wat If situacije:

1. Serveri

Serveri su podeljeni u 3 grupe, S.A.P, farma terminal servera i obicni serveri. Prve 2 grupe su znacajne za funkcionisanje firme, treca grupa i nije toliko vazna pa o njoj necu ni pisati.

1.1 Terminal Serveri

Hardware : dual processor, dve dualhead NIC, RAID-1, redundant power supply, 1.5 GB RAM. Serveri rade sa MS Terminal Serverom i NLB-om. Ima 10 servera sto je over-kill ali ako jedan ili dva servera ispadnu iz mreze korisnici nece osetiti.

1.2 S.A.P Serveri

DataBase i App1 server su identicni: Dual Processor, 4 GB RAM, 18,2 GB SCSI 15k RAID-1 za OS, 18,2 GB SCSI 15k RAID-1 za SWAP, 36 GB SCSI 15k RAID-5 za Software, 2 hot stand-by 18 SCSI HDD's i 2 FC SCSI adapter. Serveri imaju 2 dual head NIC + jedan obican NIC adapter koji sluzi za controlu izmedju servera. Oba servera su povezana sa FC-30 kabinetom gde su diskovi za database. FC-30 ima 2 adaptera tako da ako jedan prestane da radi automatski se prebacuje na drugi.

Ostali App. serveri su Dual Processor, 2 GB RAM, 18,2 GB SCSI 15k RAID-1 za OS, 18,2 GB SCSI 15k RAID-1 za SWAP, 36 GB SCSI 15k RAID-5 za Software, 2 hot stand-by 18 SCSI HDD's.

2. LAN/WAN

U glavnoj poslovnici se nalaze kao srce mreze dva CISCO 4006 switch-a, svi serveri su povezani na oba (zato imaju dualhead mrezne karte). Veza sa poslovnicama je uspostavljena preko Frame Relay-a i Micro talasne antene do POP-a kao back-up. Poslovnice su povezane sa FR-om i ISDN-2 lijijom izmedju sebe.

3. Backup

Backup za database se vrsi pomocu 2 Ultriuima 220 u RAID-1 konfiguraciji, Full Back-up svako vece i transactional backup svakih 10 minuta na HDD. Jedna traka se cuva u vatrostalnom sefu (9 sati moze da izdrzi 1000 C i pad sa 4 metra visine bez gubtka podataka na trakama) a druga se salje kurirom u CEC.
Posto se software na serverima retko menja, samo se u tim prilikama pravi backup i image. Svaki serevr ima svoj DLT unit i Image na kojem je NT + Arcserve, tako da prilikom vracanja podataka ne treba prvo instalirati NT i ARCServe, skracuje vreme za jedno 2 sata.

4. Ostali hardware

UPS-ovi normalno, svaki server je povezan na 2 UPS-a, i generator za citavu zgradu. Protivpozarni sistem je na bazi aerosola (VODA!!!!!), to je IBM-ov sistem ne mogu da se setim vise imena, ima prednost nad gasom zato sto se prilikom gasenja pozara ne mora napustiti prostorija. Posle je potrebno samo suvom krpom obrisati servere.

Wat if...

1. Nestanak struje

UPS-ovi preuzimaju prvih 5 minuta nestanka struje a onda generator.

2. Database server prestaje sa radom

Ako DB server prestane sa radom, App1 server se restartuje (CLUSTERING), prestaje da radi kao APP's i preuzima ulogu DB servera.

3. App server 2-??? prestaje sa radom

Nista, korisnici koji si koriste database preko tog servera moraju ponovo da se konektuju i nastavljaju sa radom.

4. Terminal server prestaje sa radom

Isto kao i kod App servera, ponovo se konektuju i nastavljaju sa radom.

5. Bilo koji od HDD prestaje sa radom

Svi serveri imaju ili RAID-1 ili RAID-5 tako da nastavljaju normalno sa radom, jedino sto je taj server nesto sporiji, zato sto mora da prebaci podatke na stand-by HDD.

6. WAN

Sam Frame Relay ne moze da se prekine, jedino sta moze da se prekine je veza do prvog POP-a (pokidaju kabel), ako se to desi onda se veza prebacuje na microtalasnu antenu. Poslovnice imaju ISDN backup mada ako se prekine kabel onda su prekinute sve veze, posto u poslovnicama radi po 10 ljudi nije tako strasno.

7. Pozar

Ako je lokalni onda se gasi aerosolom, ako citava zgrada izgori onda stupa plan za katastrofe, a o tome drugi put.


I na kraju...

Jedina slaba tacka je FC-30, ako se on pokvari onda mora da se ceka (call to repair contract 4 sata stupa na snagu), tako da je down time negde oko 8 sati. Inace citavo resenje je kostalo negde oko 1.000.000 DM.... neko ce reci mnogo novaca ali,

- oko 300 korisnika je zavisno od sistema (oni koji rade i oni koji ne rade sa kompjuterom), gazdu kosta svaki covek oko 100 DM, ako sistem ne radi on gubi po satu 30.000 DM. Ne govorim o gubitku poslovanja, to jos treba dodati.

- osiguranje za firmu je oko 40% jeftinije ako im pokazes da imas ovakav plan (u osiguranje je uracunato i da u slucaju pozara gubis poslovne partnere).

- lakse je dobiti ISO-9002

---