Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Kakav server za pristup 10k posetilaca u minuti?

[es] :: Linux/UNIX serveri i servisi :: Kakav server za pristup 10k posetilaca u minuti?

[ Pregleda: 981 | Odgovora: 8 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

vladared
Vladimir Crveni
Sistem Administrator
Novi Sad

Moderator
Član broj: 50291
Poruke: 1026
*.dynamic.sbb.rs.

Sajt: www.itpoint.rs


+394 Profil

icon Kakav server za pristup 10k posetilaca u minuti?14.02.2022. u 15:11 - pre 25 meseci
Kakav je server potreban za pik od 5k-10k posetilaca u minuti u piku? Na serveru će biti samo jedan sajt (mali) i baza i jedina uloga servera je da insertuje u bazu upis o generisanim podacima na sajtu.
 
Odgovor na temu

kunc
Germany/Munich

Član broj: 195484
Poruke: 440



+56 Profil

icon Re: Kakav server za pristup 10k posetilaca u minuti?14.02.2022. u 15:49 - pre 25 meseci
Sta ce vrtit u pozadini? Koji OS: windows ili linux? Koji web server: nginx, apache...; koji programski jezik: php, go lang...?

Tesko je to ovako reci, dok ne istrazis pozadinu web aplikacije detaljno.

Licno vrtim root server 16 Gb ram, 6 cpu, 512 Gb nvme oko 4-5k live usera u minutu.
Radi se o lokalnom news portalu. U pozadini laravel, nginx, mysql.

Resurci nisu nikada presli vise od 45-55% na 4k usera.

Praksa je da se nikada ne stavlja baza na isti server. To znaci, da bi trebao imati dva odvojena vps ili root servera, na jednom samo bazu a na drugom applikaciju.
Ako me pitas, zasto ja nisam ovo praktikovao, recu ti da je u pitanju samo nedovoljan budzet.


Ne znam kolikim budzetom raspolazes, ali nema smisla da placas sada server recimo mjesecno 80-150 eura, a recimo tu posjetu od 5-10k usera imas samo u periodu od 13 do 16 sati. Onda je bolje ici sa Auto Scaling opcijom ( to znaci imas 4 cpu i 4 Gb ram, kada ti posjeta skoci, instanca se auto skalira na optimalan nivo bubam 8cpu i 10 Gb ram ali samo na 3 sata...zatim se vraca u prvobitno stanje). Pogledaj aws ili oracle cloud.



 
Odgovor na temu

vladared
Vladimir Crveni
Sistem Administrator
Novi Sad

Moderator
Član broj: 50291
Poruke: 1026
*.dynamic.sbb.rs.

Sajt: www.itpoint.rs


+394 Profil

icon Re: Kakav server za pristup 10k posetilaca u minuti?14.02.2022. u 16:11 - pre 25 meseci
Webserver će biti koji postavim, a lično mislim da nginx tu ima blagu prednost. php će biti u pozadini a baza mariadb/mysql. E da, OS linux. Problem je što se web aplikacija tek razvija i neću moći da je istražim do samog kraja, a na kraju kreće produkcija, tako da pitanje da li ću bilo šta stići da reagujem do tog trenutka.

Prvobitno sam mislio 2 servera da dignem, ali ne znam pravilo, koliko čega treba za bazu, za sam sajt, jer do sada se sve nalazilo na jednom serveru zbog ograničenog budžeta. Opet ne bih ni 2 servera da "zakupljujem" ako može sve da se odradi na jednom, ali opet dolazim do toga kakve resurse da uzmem. Na single mašini kontam da neki okta-core bi mogao to da sažvaće, ali 10k nisam nikada imao pik pa nisam siguran. 64 ili 128G RAMa bi omogućilo koliko toliko brzo korišćenje, a pošto neće biti veliki upisi u bazu moglo bi da se iskoriste SSD diskovi. Naravno obavezan backup koji bi se okidao noću kada nema opterećenja. Najgore je što ne znam ni da pretpostavim kakvo će opterećenje biti na sajtu pošto je namenski web server koji će kraći period da se vrti i onda se gasi, a trenutno nemam ništa što bi mi pomoglo da uhvatim šablon interesovanja, nego samo neke pretpostavke.

Isto bi mi dobro došao savet koji hosting provajder. Sa cloudom nemam uopšte iskustava, pogotovu deo oko naplate tako da ne znam ni kako tu da sračunam resurse.


Moja iskustva su različita, od nekoliko stotina usera koji su gušili server (zbog nespremnosti admina da mi daju više resursa) do letenja bez problema. Po prvi put moram da smislim nešto a da ni ne znam šta će biti na tom nečemu (sutra tek dobijam prve smernice) pa pokušavam neke matematike da uradim, ali jednostavno nisam pametan.
 
Odgovor na temu

kunc
Germany/Munich

Član broj: 195484
Poruke: 440



+56 Profil

icon Re: Kakav server za pristup 10k posetilaca u minuti?14.02.2022. u 20:58 - pre 25 meseci
Citat:
vladared: Webserver će biti koji postavim


Onda nemas potrebe da pitas za savjet, nek bude onaj koji ti postavis

Citat:
Prvobitno sam mislio 2 servera da dignem, ali ne znam pravilo, koliko čega treba za bazu, za sam sajt, jer do sada se sve nalazilo na jednom serveru zbog ograničenog budžeta. Opet ne bih ni 2 servera da "zakupljujem" ako može sve da se odradi na jednom, ali opet dolazim do toga kakve resurse da uzmem.


Pocetnik koji radi sa cloud-om i sa server tehnologijama, zna da baze zahtjevaju dosta radne memorije...

Citat:
Na single mašini kontam da neki okta-core bi mogao to da sažvaće, ali 10k nisam nikada imao pik pa nisam siguran. 64 ili 128G RAMa bi omogućilo koliko toliko brzo korišćenje, a pošto neće biti veliki upisi u bazu moglo bi da se iskoriste SSD diskovi.


NVMe diskovi su dosta ispred ssd-ova. Instnacu, bila root ili dedicated sa 64 GB rama, najjeftiniju, neces nac ispod 60-70 eura sa 1 GBit/s Uplink-om.


Citat:
Isto bi mi dobro došao savet koji hosting provajder. Sa cloudom nemam uopšte iskustava, pogotovu deo oko naplate tako da ne znam ni kako tu da sračunam resurse.


Za pocetak DigitalOcean ili Linode, posto vidim da nemas iskustva sa cloudom. Kasnije predji na aws ili gcp.

Citat:
Moja iskustva su različita, od nekoliko stotina usera koji su gušili server (zbog nespremnosti admina da mi daju više resursa) do letenja bez problema. Po prvi put moram da smislim nešto a da ni ne znam šta će biti na tom nečemu (sutra tek dobijam prve smernice) pa pokušavam neke matematike da uradim, ali jednostavno nisam pametan.


...



 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: Kakav server za pristup 10k posetilaca u minuti?15.02.2022. u 06:54 - pre 25 meseci
Prvo, razlika izmedju 10,000 posetilaca u minuti i 10,000 upisa u bazu u minuti je ogromna. 10,000 upisa u minuti je oko 200 upisa u sekundi. To moze da bude od 400 do preko 20,000 IOPS-a, zavisi koliki je slog koji se upisuje i zavisi kako izgleda organizacija baze. Da li jedan upis pise u tabelu koja je glorifikovani log fajl, ili pise u nesto sto ima 4 index-a i 2 foreign key-a? Dizajn baze igra ulogu u tome.

Dodatna pitanja koja bi se postavljala se ticu dostupnosti cele price. Da li si zadovoljan da to radi na jednom serveru, ili zelis neko high availability resenje? Gde su ti korisnici, gde ti geografski odgovara da imas server? Koliko traje taj peak? Kad je vreme nize posete? Kako si zamislio backup cele price?

Autoscaling je resenje za aplikacije, ne za baze. ;) Baze, generalno, ne vole downtime i resete - jer se oslanjaju na velike keseve kojima treba vreme da se zagreju. Moje neko iskustvo je da, ako je cllj "sto jevtinije" Hetzner ima pristojna resenja, imam tamo klijenta kome odrzavamo par servera bas za velike i brze baze - ali, kazem, bez detaljnog uvida u pricu ovo je vrlo pausalna ocena. Vrlo je moguce da, ako zelis najjevtinije resenje, bolje prodjes sa provajderima kao Hetzner, gde mozes da uzmes fizicki server sa par NVMe-ova u RAID-u, nego da ides na cloud. Ova resenja koja kunc predlaze su, po meni losa, DO i linode jesu jevtini, ali nisu optimizovani za disk I/O koji ce tebe najvise da boli.
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

Doktor Hlad

Član broj: 337261
Poruke: 739



+192 Profil

icon Re: Kakav server za pristup 10k posetilaca u minuti?15.02.2022. u 10:28 - pre 25 meseci
Citat:
vladared:
Kakav je server potreban za pik od 5k-10k posetilaca u minuti u piku? Na serveru će biti samo jedan sajt (mali) i baza i jedina uloga servera je da insertuje u bazu upis o generisanim podacima na sajtu.


Sa ovoliko ulaznih podataka koliko si dao u pitanju ti niko ne moze dati odgovor.

Imam jedan server sa 4 jezgra, 8GB RAM, MariaDB, PHP, Apache je konfigurisan na 800 radnika. Testirao sam ga sa 400 zahteva u sekundi i sasvim se fino ponasa.

E ali tu mnogo zavisi od toga sta se desava kada korisnik zahteva stranicu. Kod mene svaka stranica radi makar jedan select na bazi i ni jedan od tih selecta ne traje vise od par milisekundi. I svaki poziv radi jedan insert u log tabelu i to takodje ne traje vise od milisekunde.

Tu je bilo mnogo posla da se baza dovede na nivo da svaka stranica ne opterecuje bazu vise od obicnog selecta iz jedne tabele. Znaci, baza nece da bude usko grlo ali samo ako DB developer zna sta radi i ulozi mnogo truda. Ako ti svaki poziv stranice podrazumeva neke komplikovane upite (ili nekoliko upita) onda problem raste eksponencijalno.

Kada bazu napravis da radi kako treba onda web deo nije problem. To onda mozes da skaliras vrlo jednostavno.
 
Odgovor na temu

Doktor Hlad

Član broj: 337261
Poruke: 739



+192 Profil

icon Re: Kakav server za pristup 10k posetilaca u minuti?15.02.2022. u 10:33 - pre 25 meseci
Citat:
nkrgovic:Ova resenja koja kunc predlaze su, po meni losa, DO i linode jesu jevtini, ali nisu optimizovani za disk I/O koji ce tebe najvise da boli.


Ja kod Vultr i Hetznera radim neke poprilicno velike I/O operacije (baze i fajlovi reda velicine nekoliko TB i nekoliko milijardi redova) i sasvim sam zadovoljan. MongoDB radi toliko brzo da je to neverovatno mada i ostalo sto vrtim (MariaDB i PostgreSQL) ne zaostaju puno.
 
Odgovor na temu

vladared
Vladimir Crveni
Sistem Administrator
Novi Sad

Moderator
Član broj: 50291
Poruke: 1026
*.dynamic.sbb.rs.

Sajt: www.itpoint.rs


+394 Profil

icon Re: Kakav server za pristup 10k posetilaca u minuti?15.02.2022. u 11:20 - pre 25 meseci
Uhhhh... Problem je što ja nemam ulazne podatke(bar do sutra-prekosutra).

Koliko kontam na landing pageu će biti jedan upit koji će pokazivati samo trenutne podatke iz baze. Baza ne bi trebala da bude komplikovana, odnosno 1-2 tabele, sa 1-2 indeksa (problem je što nemam sve informacije, ali površne što sam dobio zvuče ovako). Sa landing pagea, ide se na drugu stranicu gde se insertuju podaci u pomenute tabele i na još jednu stranicu, gde se po potrebi pregledaju podaci iz baze. Biće još jedna strana o uspešnom unosu u bazu i/ili poruka greške (koja može biti i pop-up prozor). Svako ko poseti landing page, neće obavezno posećivati ostale stranice tako da tih 10k (mada mi nije jasno ni kako su došli do tog podatka jer mi je dosta neverovatan sem ako nisu računali da će veliki pik biti u trenutku postavljanja a ostalo će ići na mnogo nižim nivoima, ali čak i tako mi je 10k za minutu jako velika brojka) će se verovatno svesti na nekih 1-2k koji će upisivati nešto u bazu, a ovi što će gledati upise u bazu se svode na nekoliko ljudi po nekoliko puta dnevno tako da su oni zanemarljivi.

Podatke o piku ne znam (jer će sajt u vrh glave se vrteti nekim mesec dana, tako da mogu samo da upoređujem sa drugim sajtovima koje sam namestio da se vrte na serverima), ali znam da će biti za Srbiju (drugi nisu bitni).

Backup... Sigurno jedan uveče (jer tada opterećenost neće biti velika), a što se tiče još nekog backupa zavisi od toga šta ću dobiti od instrukcija kasnije. Problem je što se od mene očekuje da dam neki proračun hardware-a a da ni sami ništa ne znaju (aplikacija kao što sam rekao još nije gotova, a koliko sam razumeo još nije ni započeta ), a samim tim ni ja nemam podatak.

Kao što ste primetili sa Cloudom nemam nikakva iskustva, tako da bi i ja preferirao Hetznera (cene) ili recimo neku HostArmadu(ovde je neki najbolji odnos cene i zaštite) ili neki treći... I tu čekam da vidim tačno šta žele da bih znao šta ja treba da radim. Međutim problem je što ja sam radio samo sa Hetznerom i jedan kratak period sa Hostgatorom tako da ni tu nemam neko iskustvo specijalno sa server provajderima. Sve ostalo su bili lokalni serveri, što sada za ovu priču otpada.
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: Kakav server za pristup 10k posetilaca u minuti?15.02.2022. u 11:49 - pre 25 meseci
Prvo, u svakom slucaju ti trebaju dva servera - u smislu drugi kao database slave.

Drugo, taj kod bi, ako ja dobro razumem, trebalo da bukvalno sve ka bazi zakesira - bar ono sto moze. Landing page bi trebalo da se ucita bez da pipne bazu. Ako je u pitanju neki jedan podatak on moze da se kesira u redis. Taj reporting (pregled podataka) moze da ide, mozda, sa slave-a? Tako da bukvalno jedino sto dira bazu treba da bude stranica koja pise u bazu.

Ako to obezbedis, onda pogledaj neki od onih SX ili PX servera, tip Xeon, ECC memorija 128GB, 2xNVMe u RAID1. Mozes i 4xNVMe u RAID10, ali mislim da ti ne treba... To ti je za proracun hardvera, ali ako je aplikacija lose pisana nijedan te hardver povaditi nece.
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

[es] :: Linux/UNIX serveri i servisi :: Kakav server za pristup 10k posetilaca u minuti?

[ Pregleda: 981 | Odgovora: 8 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.