Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Azure VM i njihov ocajan IOPS

[es] :: Cloud Computing Services :: Azure VM i njihov ocajan IOPS

Strane: 1 2 3

[ Pregleda: 4403 | Odgovora: 57 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

Zlatni_bg
Beograd

Član broj: 65708
Poruke: 3420
*.dynamic.sbb.rs.



+384 Profil

icon Re: Azure VM i njihov ocajan IOPS20.12.2018. u 08:33 - pre 6 meseci
Ajde malo laicki da se postavim, koliko to moze da ometa mene u slanju HTTP zahteva kada cekam odgovor? Posto sam pri monitoringu video da dosta dugo cekam na neke stvari koje na drugoj masini ne cekam, kada ponovim iste uslove. Nisam radio detaljan debaging aplikacije jer je ovo i dalje u teskom razvoju, da li se radi o non-responseu/neuspeloj konekciji na http(s)u ili jednostavno sporom remote serveru.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Gojko Vujovic
Amsterdam, NL

Administrator
Član broj: 1
Poruke: 13630



+129 Profil

icon Re: Azure VM i njihov ocajan IOPS20.12.2018. u 09:45 - pre 6 meseci
Pa nisam probao nesto detaljno http saobracaj i neki sajt na azure, moraces da testiras. Ali generalno je problem samo kod dugackih tcp konekcija koje u nekim periodima nemaju saobracaj. Ako aplikacija nema keepalive, konekcija samo nestane i nijedna od strana ne zna da se to desilo. Tako da moras da implementiras keepalive ako hoces da ti konekcije traju satima/danima.

A vidim po komentarima korisnika (vidis i na onom linku ima jedan takav) da im se to desavalo i sa Chrome browserom, da misli da je stara konekcija validna i da mu treba 20ak sekundi da odluci da treba da napravi novu. Sto bi u slucaju te web aplikacije izazvalo delay, pretpostavljam.

Ne mora da znaci da je ovo deal breaker za Azure, brdo firmi radi sa njima sasvim ok.. zavisi za sta ga koristis.. i testiraj dobro.
 
Odgovor na temu

Zlatni_bg
Beograd

Član broj: 65708
Poruke: 3420
*.dynamic.sbb.rs.



+384 Profil

icon Re: Azure VM i njihov ocajan IOPS20.12.2018. u 09:47 - pre 6 meseci
Btw, samo da kazem svima - dzaba se zezamo oko IOPS-a. Max koji ova "free" masina koja mi ne jede kredit je 400 IOPSa (b1s -1gbram/1cpu). Ali i dalje mislim da to nije problem. Pravim sada malo vise instanci da vidim da li se drugacije ponasaju kada im dam vise RAMa i jezgara. Cak su dusmani ogranicili i na skupljim masinama raid brzine koliko mi se cini, jer negde pise max iops "2x400" i slicno. Sto je jadno ako se koristi jedan disk jer ne moze da se predje 400 IOPSa. A neko kome treba vise iopsa a ne treba mu 8 jezgara to nece moci da dobije - makar imao i 4TB diskove.

Nije deal breaker, ali bukvalno svaki od popularnijih cloud servisa ima svoje za i protiv. I to prilicno debele. Nesto sto nisam podnosio na AWSu na Azureu je pojednostavljeno da malo dete moze da se igra, dok neke stvari haoticno rade.

Mada evo poredjenje cena - b1s na azureu (1gb/1cpu) kosta ~9$/m, dok je na gcloudu samo 1CPU oko 25eur u Frankfurtu. Tih 1GB RAMa je nekih dodatnih 3-4$.

Sledeci test... pokusacu da napravim raid0 od 10 standardnih SSD diskova sa fiksnim IOPSom od 500 (valjda) velicine 5GB, pa da vidim da li ce ogranicenje da me zeza negde.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Zlatni_bg
Beograd

Član broj: 65708
Poruke: 3420
*.dynamic.sbb.rs.



+384 Profil

icon Re: Azure VM i njihov ocajan IOPS20.12.2018. u 12:18 - pre 6 meseci
Radio sam jos malo citanja, testiranja, istrazivanja. Podigao sam taj B1S do maksimuma, ne moze da se predje 400IOPSa nikako.

Elem, apropo performansi...: https://docs.microsoft.com/en-...machines/windows/sizes-general

Znaci 10% performansi jednog CPU jezgra, 10MB/s (mada sam to nekako zaobisao?), 400 IOPSa sa lokalnim kesiranjem, 320 IOPSa bez kesiranja.

Nesto ne verujem da ce biti extra popularni kod onih kojima treba i VM okruzenje.

Malo testova sa izmaxovanom masinom:

4k fajlovi:
Code:
[root@RHEL ~]# fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read.fio --bs=4k --iodepth=64 --size=512M --readwrite=randread
test: (g=0): rw=randread, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
test: Laying out IO file (1 file / 512MiB)
Jobs: 1 (f=1): [r(1)][100.0%][r=1400KiB/s,w=0KiB/s][r=350,w=0 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=1853: Thu Dec 20 11:33:13 2018
   read: IOPS=407, BW=1629KiB/s (1668kB/s)(512MiB/321896msec)
   bw (  KiB/s): min= 1432, max= 1784, per=100.00%, avg=1629.00, stdev=13.83, samples=643
   iops        : min=  358, max=  446, avg=407.21, stdev= 3.46, samples=643
  cpu          : usr=0.12%, sys=0.37%, ctx=22521, majf=0, minf=91
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=131072,0,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=1629KiB/s (1668kB/s), 1629KiB/s-1629KiB/s (1668kB/s-1668kB/s), io=512MiB (537MB), run=321896-321896msec

Disk stats (read/write):
  sda: ios=131275/61, merge=1/7, ticks=20620512/12231, in_queue=20634109, util=100.00%


64k fajlovi:
Code:
[root@RHEL ~]# fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read.fio --bs=64k --iodepth=64 --size=1G --readwrite=randread
test: (g=0): rw=randread, bs=(R) 64.0KiB-64.0KiB, (W) 64.0KiB-64.0KiB, (T) 64.0KiB-64.0KiB, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [r(1)][100.0%][r=21.9MiB/s,w=0KiB/s][r=351,w=0 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=29083: Thu Dec 20 11:50:25 2018
   read: IOPS=351, BW=21.9MiB/s (23.0MB/s)(1024MiB/46675msec)
   bw (  KiB/s): min=22272, max=24704, per=99.95%, avg=22454.59, stdev=244.84, samples=93
   iops        : min=  348, max=  386, avg=350.81, stdev= 3.84, samples=93
  cpu          : usr=0.12%, sys=0.62%, ctx=5485, majf=0, minf=541
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.2%, >=64=99.6%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=16384,0,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=21.9MiB/s (23.0MB/s), 21.9MiB/s-21.9MiB/s (23.0MB/s-23.0MB/s), io=1024MiB (1074MB), run=46675-46675msec

Disk stats (read/write):
  sda: ios=16397/1, merge=1/0, ticks=2983255/388, in_queue=2986284, util=99.84%


128k fajlovi:
Code:
[root@RHEL ~]# fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read.fio --bs=128k --iodepth=64 --size=1G --readwrite=randread
test: (g=0): rw=randread, bs=(R) 128KiB-128KiB, (W) 128KiB-128KiB, (T) 128KiB-128KiB, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [r(1)][100.0%][r=21.9MiB/s,w=0KiB/s][r=175,w=0 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=29346: Thu Dec 20 11:59:39 2018
   read: IOPS=175, BW=21.9MiB/s (23.0MB/s)(1024MiB/46667msec)
   bw (  KiB/s): min=14080, max=24832, per=99.60%, avg=22378.54, stdev=912.71, samples=93
   iops        : min=  110, max=  194, avg=174.82, stdev= 7.13, samples=93
  cpu          : usr=0.05%, sys=0.47%, ctx=4383, majf=0, minf=543
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.2%, 32=0.4%, >=64=99.2%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=8192,0,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=21.9MiB/s (23.0MB/s), 21.9MiB/s-21.9MiB/s (23.0MB/s-23.0MB/s), io=1024MiB (1074MB), run=46667-46667msec

Disk stats (read/write):
  sda: ios=8188/0, merge=0/0, ticks=2972869/0, in_queue=2974282, util=99.84%


1M:
Code:
[root@RHEL ~]# fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read.fio --bs=1M --iodepth=64 --size=1G --readwrite=randread
test: (g=0): rw=randread, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [r(1)][93.9%][r=0KiB/s,w=0KiB/s][r=0,w=0 IOPS][eta 00m:03s]
test: (groupid=0, jobs=1): err= 0: pid=29390: Thu Dec 20 12:01:00 2018
   read: IOPS=21, BW=21.9MiB/s (22.0MB/s)(1024MiB/46696msec)
   bw (  KiB/s): min=14336, max=24576, per=99.61%, avg=22368.16, stdev=1086.10, samples=88
   iops        : min=   14, max=   24, avg=21.83, stdev= 1.06, samples=88
  cpu          : usr=0.03%, sys=0.24%, ctx=1017, majf=0, minf=12836
  IO depths    : 1=0.1%, 2=0.2%, 4=0.4%, 8=0.8%, 16=1.6%, 32=3.1%, >=64=93.8%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=99.9%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=1024,0,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=21.9MiB/s (22.0MB/s), 21.9MiB/s-21.9MiB/s (22.0MB/s-22.0MB/s), io=1024MiB (1074MB), run=46696-46696msec

Disk stats (read/write):
  sda: ios=2051/21, merge=0/0, ticks=5767776/72450, in_queue=5843126, util=99.85%


Maxuje na 400 IOPSa i 22MB/s.

Poredjenja radi... Google cloud sa standardnim SSD storidzom (vm 1cpu/2gbRAM - slabija masina koju imam kod gc):

4k

Code:
[root@gcloud ~]#  fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read.fio --bs=4k --iodepth=64 --size=1G --readwrite=randread
test: (g=0): rw=randread, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [r(1)][100.0%][r=6004KiB/s,w=0KiB/s][r=1501,w=0 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=25772: Thu Dec 20 12:04:50 2018
   read: IOPS=2101, BW=8405KiB/s (8607kB/s)(1024MiB/124753msec)
   bw (  KiB/s): min= 5824, max=80136, per=100.00%, avg=8410.61, stdev=11339.22, samples=249
   iops        : min= 1456, max=20034, avg=2102.65, stdev=2834.81, samples=249
  cpu          : usr=1.49%, sys=4.88%, ctx=210792, majf=0, minf=91
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=262144,0,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=8405KiB/s (8607kB/s), 8405KiB/s-8405KiB/s (8607kB/s-8607kB/s), io=1024MiB (1074MB), run=124753-124753msec

Disk stats (read/write):
  sda: ios=261940/31, merge=0/5, ticks=7965561/1491, in_queue=7968273, util=100.00%


1M:
Code:

[root@gcloud ~]#  fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read.fio --bs=1M --iodepth=64 --size=1G --readwrite=randread
test: (g=0): rw=randread, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [r(1)][100.0%][r=240MiB/s,w=0KiB/s][r=240,w=0 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=25802: Thu Dec 20 12:05:57 2018
   read: IOPS=244, BW=245MiB/s (257MB/s)(1024MiB/4184msec)
   bw (  KiB/s): min=229376, max=245760, per=97.25%, avg=243712.00, stdev=5792.62, samples=8
   iops        : min=  224, max=  240, avg=238.00, stdev= 5.66, samples=8
  cpu          : usr=0.02%, sys=3.11%, ctx=158, majf=0, minf=16411
  IO depths    : 1=0.1%, 2=0.2%, 4=0.4%, 8=0.8%, 16=1.6%, 32=3.1%, >=64=93.8%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=99.9%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=1024,0,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=245MiB/s (257MB/s), 245MiB/s-245MiB/s (257MB/s-257MB/s), io=1024MiB (1074MB), run=4184-4184msec

Disk stats (read/write):
  sda: ios=4061/2, merge=0/0, ticks=579278/267, in_queue=584122, util=97.72%


Ponovio 1M test jer je ocigledno neki faktor bio umesan - RAM ili gc kesiranje:

Code:
[root@gcloud ~]#  fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read.fio --bs=1M --iodepth=64 --size=4G --readwrite=randread
test: (g=0): rw=randread, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [r(1)][99.2%][r=0KiB/s,w=0KiB/s][r=0,w=0 IOPS][eta 00m:01s]
test: (groupid=0, jobs=1): err= 0: pid=25844: Thu Dec 20 12:09:33 2018
   read: IOPS=32, BW=32.0MiB/s (33.6MB/s)(4096MiB/127956msec)
   bw (  KiB/s): min=16384, max=262144, per=99.59%, avg=32645.91, stdev=41853.49, samples=253
   iops        : min=   16, max=  256, avg=31.87, stdev=40.86, samples=253
  cpu          : usr=0.01%, sys=0.30%, ctx=546, majf=0, minf=16411
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.2%, 16=0.4%, 32=0.8%, >=64=98.5%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=4096,0,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=32.0MiB/s (33.6MB/s), 32.0MiB/s-32.0MiB/s (33.6MB/s-33.6MB/s), io=4096MiB (4295MB), run=127956-127956msec

Disk stats (read/write):
  sda: ios=16376/25, merge=0/5, ticks=18224799/22649, in_queue=18260181, util=100.00%


Uradio test sa 256MB fajlom na Azureu, nikakvo kesiranje nije postojalo, brzine su ostale zakucane na 22MB/s.

Ako vam treba masina za testiranje aplikacija, development, i gledate neku od cloud opcija kako biste se pokrili "kod jednog provajdera", moj savet je da bezite od Azura. Bar sto se tice ovih VM-ova. Google cloud izadje mozda malcice skuplje ali je daleko kvalitetnije resenje jer za tih 25$ ili 25EUR dobijate sopstveno/nedeljeno jezgro i 1500 IOPSa (u mom slucaju koristi se 25GB SSD storidza) u radu sa 4k fajlovima.

Znaci, nebo i zemlja. GC 1vCPU+2GB RAM+25GB SSD izlazi oko 30-35$ sa sustained usage discountom (cena opada do te cifre u roku od mesec dana), MS trazi 10$ za vCPU+1GB RAM.

32GB disk sa 120 IOPSa = 6$
64GB / 240IOPS = 11$
128GB / 500IOPS = 22$.

Imajte u vidu da google isto daje deljena CPU jezgra za nekih 7$. Po meni, mnogo vise mogucnosti sa guglom.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 1219



+365 Profil

icon Re: Azure VM i njihov ocajan IOPS21.12.2018. u 01:03 - pre 6 meseci
"Ako vam treba masina za testiranje aplikacija, development..."

A ako nam ne treba virtuelna mašina, nego samo App kao servis?
Blessed are those who can laugh at themselves, for they shall never cease to be amused.
 
Odgovor na temu

Zlatni_bg
Beograd

Član broj: 65708
Poruke: 3420
*.dynamic.sbb.rs.



+384 Profil

icon Re: Azure VM i njihov ocajan IOPS21.12.2018. u 01:51 - pre 6 meseci
To radi sjajno, bez greske. Zovu ga "App services" i spada pod "always free" kategoriju pa svako moze da isproba. Svideli su mi se nacini deploymenta (povlacenje sa github repo-a, ssh, http...) i moguce je zakaciti i dodatni storage na to (mislim da nisu diskovi u pitanju). Prijatno sam iznenadjen jer konkretno radim u PHP-u, na AWSu nisam mogao da koristim slican servis. Ovde imam preko 10 verzija PHP-a u izboru. Sto se performansi tice, testirao sam samo jednu aplikaciju (treking igraca/klanova na clash royale igrici koji razvijam i dalje), to povezao sa njihovim SQL serverom i sljaka bez problema. Ali da ne zvucim previse razmazeno, volim da imam i VM na kom radim development i testiranja, gde sam kontrolisem okruzenje. Malo sam se posvetio optimizaciji tog B1s VM-a na Azureu, i dalje "stuca", ali mislim da sa 400IOPSa radi dosta bolje nego sa 240.

Google cloud ima isto resenje (naravno, svaki cloud provajder ima nesto slicno) ali mi Azure-ovo deluje dosta jednostavnije. Tu im dajem prednost. Po meni najveci bonus je one-click sinhronizacija sa git repoom iz konzole. Super je za REST.

Ono sto me jos interesuje je integracija sa Visual Studiom. Nisam jos nista isprobao, ali ono sto me najvise interesuje je da li njihovi servisi mogu da se koriste, za recimo testiranje Xamarin android/ios aplikacija, tacnije da se pokrenu na njihovom okruzenju/emulatoru :)
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Zlatni_bg
Beograd

Član broj: 65708
Poruke: 3420
*.dynamic.sbb.rs.



+384 Profil

icon Re: Azure VM i njihov ocajan IOPS21.12.2018. u 06:25 - pre 5 meseci
Citat:
Gojko Vujovic:
Pa nisam probao nesto detaljno http saobracaj i neki sajt na azure, moraces da testiras. Ali generalno je problem samo kod dugackih tcp konekcija koje u nekim periodima nemaju saobracaj. Ako aplikacija nema keepalive, konekcija samo nestane i nijedna od strana ne zna da se to desilo. Tako da moras da implementiras keepalive ako hoces da ti konekcije traju satima/danima.

A vidim po komentarima korisnika (vidis i na onom linku ima jedan takav) da im se to desavalo i sa Chrome browserom, da misli da je stara konekcija validna i da mu treba 20ak sekundi da odluci da treba da napravi novu. Sto bi u slucaju te web aplikacije izazvalo delay, pretpostavljam.

Ne mora da znaci da je ovo deal breaker za Azure, brdo firmi radi sa njima sasvim ok.. zavisi za sta ga koristis.. i testiraj dobro.


Mislim da sam, kako sam sredio problem sa samim IOPS performansama, naleteo na problem ovde. Evo prosta situacija koju radim... nalazim sve formate slike koji mi trebaju (da ne otkrivam nacin, imam par izvora) i potom ih py-wget skida na server. Primetio sam da je Azure masina "zabola" na malo duzi period pri nekim pokusajima. Printuje mi se svaki link do podatka koji skidam, i kada pokusam da otvorim tu sliku preko ffoxa, posle par sekundi dobijem rezultat da server nije onlajn. Iz nekog razloga, samo Azure masini treba duze vremena da skapira da server nije onlajn. Moguce da glavni problem lezi bas u onome sto si ti naveo.

Vidim da u podesavanjima mreznog adaptera koji je vezan za VM imam i ovo podesavanje od 4 minuta o kom si pricao. Pokusacu da smanjim taj keep-alive pa da vidim sta dobijam.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Zlatni_bg
Beograd

Član broj: 65708
Poruke: 3420
*.dynamic.sbb.rs.



+384 Profil

icon Re: Azure VM i njihov ocajan IOPS21.12.2018. u 17:50 - pre 5 meseci
Resih da pustim test i na DigitalOcean masini na kojoj odrzavam jedan projekat. Tada nisam jos bio upucen u "cloud" tehnologije, a trebao mi je pouzdan VPS. Placam ga 40$ mesecno. 8GB RAM, 4vCPU, 160GB droplet. Neophodan mi je bio jer nisam imao zaseban db server za njega, a db intensive je. Ima u peakovima i par hiljada sql upita u sekundi. Izdrzava sebe visestruko, a 40$ i nije neka visoka cena.

4k
Code:
[root@do ~]# fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read.fio --bs=4k --iodepth=64 --size=16G --readwrite=randread
test: (g=0): rw=randread, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [r(1)][100.0%][r=340MiB/s,w=0KiB/s][r=86.9k,w=0 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=9910: Fri Dec 21 17:45:39 2018
   read: IOPS=82.3k, BW=321MiB/s (337MB/s)(16.0GiB/50981msec)
   bw (  KiB/s): min=272088, max=346552, per=99.91%, avg=328782.29, stdev=12745.17, samples=101
   iops        : min=68022, max=86638, avg=82195.57, stdev=3186.31, samples=101
  cpu          : usr=10.94%, sys=38.77%, ctx=197708, majf=0, minf=93
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=4194304,0,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=321MiB/s (337MB/s), 321MiB/s-321MiB/s (337MB/s-337MB/s), io=16.0GiB (17.2GB), run=50981-50981msec

Disk stats (read/write):
  vda: ios=4186372/0, merge=0/0, ticks=2905500/0, in_queue=2904962, util=99.82%
[root@do ~]#


1M:
Code:

[root@do ~]# fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=random_read.fio --bs=1M --iodepth=64 --size=16G --readwrite=randread
test: (g=0): rw=randread, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [r(1)][100.0%][r=2453MiB/s,w=0KiB/s][r=2453,w=0 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=9907: Fri Dec 21 17:43:55 2018
   read: IOPS=2457, BW=2458MiB/s (2577MB/s)(16.0GiB/6666msec)
   bw (  MiB/s): min= 2318, max= 2532, per=99.93%, avg=2456.15, stdev=53.89, samples=13
   iops        : min= 2318, max= 2532, avg=2456.15, stdev=53.89, samples=13
  cpu          : usr=0.98%, sys=26.47%, ctx=15979, majf=0, minf=572
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.2%, >=64=99.6%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
     issued rwt: total=16384,0,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
   READ: bw=2458MiB/s (2577MB/s), 2458MiB/s-2458MiB/s (2577MB/s-2577MB/s), io=16.0GiB (17.2GB), run=6666-6666msec

Disk stats (read/write):
  vda: ios=49093/2, merge=1/0, ticks=1124665/22, in_queue=1125953, util=98.55%


Wow. Izabrao sam 16GB da izadjem iz bilo kakvog kesiranja... 82k iopsa na 4k i ~2550MB/s sa vecim fajlovima. Iskreno ne znam sta koriste al ovo je ili NVMe raid0 ili par SATA SSDova u raid0.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 1219



+365 Profil

icon Re: Azure VM i njihov ocajan IOPS21.12.2018. u 21:32 - pre 5 meseci
Citat:
Zlatni_bg:
To radi sjajno, bez greske. Zovu ga "App services" i spada pod "always free"...

Hvala na odgovoru. Koristio sam poprilično tih servisa, uglavnom e-commerce, i njihove gotove App i varijante sa ručnom instalacijom WP ili Joomla.
Problem sa Web+MySQL-In-App varijantom je bio što se dešavalo da Azure samo tek onako promeni port za bazu, pa kad aplikacija ne radi, prvo se to proveri :)


Takođe, kad sam već tu, početkom sledeće godine nam treba zakup resursa kod nekog od tri cloud provajdera koji se pominju ovde (AWS, Azure, Google), ali je uslov da to može da se plati kod nekog domaćeg zastupnika, pa da iskoristim da pitam ko je tu u prednosti, jer verovatno imamo i domaćih firmi koje bi najradije da plate sa svog računa, jer sve druge varijante su komplikovane zbog knjigovodstva.
Blessed are those who can laugh at themselves, for they shall never cease to be amused.
 
Odgovor na temu

Zlatni_bg
Beograd

Član broj: 65708
Poruke: 3420
*.dynamic.sbb.rs.



+384 Profil

icon Re: Azure VM i njihov ocajan IOPS22.12.2018. u 00:27 - pre 5 meseci
Hm cudno, Azure mi bar za sad ima fiksan port za SQL, s obzirom da se DB server kreira kao jedna instanca. Mozda ima opcija da se promeni sa dinamickog na staticki kao sa IP adresama? Ja sam dobio skriptu za sve jezike na kraju kreiranja servera koja me povezuje sa istim. Zato me zbunjuje menjanje portova.

Sta vam je potrebno od resursa? Uglavnom mislim da svaka firma koja se bavi ISP-jem na neki nacin moze da vam zavrsi to, a mogu da te posavetujem na osnovu dosadasnjeg iskustva sta bi vam bilo jeftino a i dobro. Ako je app u pitanju mozda bih preporucio Azure ali imaj u vidu da ga koristim tek par dana i da sam danas uspeo da sredim masinu da radi onako kako treba, mada verujem da bi uz malo iskustva i neko sa guglom mozda bolje prosao. MS je napravljen kao iPhone, nema puno cackanja, PREVISE su ogranicili korisnike i diktiraju uslove koriscenja za sve. Negde ces pri zakupu iskoristiti 1% jednog resursa a maxovati drugi, cak i ako koristis obican app servis. Drugi nude mnogo bolje skaliranje.

Ako je u pitanju VM, iskreno, ovoj DigitalOcean masini se nisam nesto posebno posvecivao otkad sam je podesio, s vremena na vreme sam proveravao kako sve funkcionise i menjao parametre servisa koji se vrte na njoj radi optimizacije a dobio sam zaista sve sto mi treba za 40$ - i iskreno mislim da ce malo aplikacija traziti vise od 4 jezgra, 8 GB RAMa, 5TB protoka i 160GB nerealno brzog storagea. Gugl je bolje resenje jedino jer daje namenski jezgra sto mislim da DO ne radi. Iskreno mislim da niko sem gugla to ne radi.

Igrao sam se sa mnogim opcijama kod svih, ako zelis navedi malo bolje sta ti treba, i CoyoteKG je polozio skoro zvanicni AWS kurs pa i on moze da ti udeli neki savet verovatno. Trenutno misljenje sto se tice tih pravih cloud provajdera, gcloud > aws > azure.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Dexic
ASP

Član broj: 253999
Poruke: 3640



+1328 Profil

icon Re: Azure VM i njihov ocajan IOPS22.12.2018. u 20:30 - pre 5 meseci
Ta jeftina masina je za obicne korisnike. Koji "prave tabele i kuckaju tekst".
Njima je 10MB/s dovoljno, a 400IOPSa previse. Poredjenja radi, i dan danas imas laptopove koji nemaju toliko IOPSa.

Ispod haube su sve SSDovi naravno, sta mislite kako bi sa hard diskovima postigli 4K brzine od 10-20MB/s? RAID6E mislim da se kroisti hardverski, ali neki rade i FlexRAID preko mreze.
 
Odgovor na temu

CoyoteKG

Član broj: 70939
Poruke: 2544



+6745 Profil

icon Re: Azure VM i njihov ocajan IOPS22.12.2018. u 20:51 - pre 5 meseci
Citat:
Zlatni_bg:, i CoyoteKG je polozio skoro zvanicni AWS kurs pa i on moze da ti udeli neki savet verovatno.

Pa iskreno te dev stvari su mi malo losije legle. Ali sta mogu sigurno cu se javiti i bice mi zanimljivo da pratim temu.
A ovde na forumu ima dosta ljudi sa aws certom i prakticnim znanjem
 
Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 1219



+365 Profil

icon Re: Azure VM i njihov ocajan IOPS23.12.2018. u 14:39 - pre 5 meseci
Citat:
Zlatni_bg:
Hm cudno, Azure mi bar za sad ima fiksan port za SQL, s obzirom da se DB server kreira kao jedna instanca.

OK, zahvaljujem na odgovoru, videću ovih dana koje su tačno specifikacije.

Za Azure problem se dešava sa Web+MySQL-In-App, gde se uz aplikaciju kreira instanca MySQL baze sa parametrima dostupnim u "MYSQLCONNSTR_localdb.ini", odnosno u "MYSQLCONNSTR_localdb.txt" (.ini ne sadrži port, dok .txt koristi većina aplikacija i string sadrži port preko koga se pristupa bazi), a connection string je tipa "Database=azuredb;Data Source=127.0.0.1:51428;User Id=azure;Password=password".

Kada se npr. instalira WordPress ili Joomla, instalacija pokupi parametre za bazu iz navedenog .txt fajla, ali se kasnije ponekad dešavalo da sistem tek onako promeni port za pristup, pa mora ručno da se proveri i izmeni u .php fajlu. Jedno od rešenja je da se u odgovarajući .php fajl doda kod koji pri pokretanju aplikacije čita podatke za pristup bazi iz .txt fajla.

Blessed are those who can laugh at themselves, for they shall never cease to be amused.
 
Odgovor na temu

Zlatni_bg
Beograd

Član broj: 65708
Poruke: 3420
*.dynamic.sbb.rs.



+384 Profil

icon Re: Azure VM i njihov ocajan IOPS25.12.2018. u 13:44 - pre 5 meseci
Hm, i dalje cu morati da odradim testiranja vezana za to. Vi dizete MySQL server instancu, ja sam dizao SQL server instancu.

https://docs.microsoft.com/en-...er-database-using-azure-portal
https://docs.microsoft.com/en-us/azure/mysql/connect-php

Po ovome je direktno 1/1 kao da ima db server na VM-u. Port je fiksan, 3306.

Igrao sam se jos malo, i sad bih naveo jos jednu info ljudima koji hoce da koriste onaj free-trial od godinu dana kojima je svima zanimljiv.

Kada kreirate VM, VI NE BIRATE VELICINU OS DISKA. Znaci sam disk se kreira sa velicinom od 32 ili eventualno 64gb za neke instance. Potom vi morate da ga rizajsujete, extendujete, u zavisnosti od distroa i tipa particije. Gde nastaje problem?

Problem nastaje sto kao free useri imate pravo na 2xP6 disk. P6 disk je samo disk od 64GB, znaci ne mozete kao ja da zaobidjete to i da napravite P10 disk od 128GB, vec mora prvo da se napravi disk od 32GB uz instancu, potom da ga povecate preko azure portala, onda da se cimate po konzoli i prosirite na 64, zatim napravite novi disk od 64, dodate ga masini, napravite particiju, potom podesite RAID i tek tad cete dobiti 400 IOPSa, ako ste free user. P6 = 240 IOPS, P10 = 500IOPS. B1s masina koja je dostupna free korisnicima ima throughoutput od 400IOPS max. Ziveo klaud :)

Jadno. Meni nije frka jer imam fiksan broj kredita, ali ovo je JADNO. Neko ko se nece cimati sa sw raidom ce dobiti 240IOPSa sto je po mom misljenju stvarno lose.

[Ovu poruku je menjao Zlatni_bg dana 25.12.2018. u 15:16 GMT+1]
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Dexic
ASP

Član broj: 253999
Poruke: 3640



+1328 Profil

icon Re: Azure VM i njihov ocajan IOPS25.12.2018. u 19:56 - pre 5 meseci
Za sta, za nesto sto je skroz free i zadovoljava ogroman broj ljudi?
Nije namenjeno drzanju besplatnog DB servera i online foruma, vec bas probe.
 
Odgovor na temu

Zlatni_bg
Beograd

Član broj: 65708
Poruke: 3420
*.dynamic.sbb.rs.



+384 Profil

icon Re: Azure VM i njihov ocajan IOPS25.12.2018. u 20:39 - pre 5 meseci
Jeste - ali skroz free "proba" koja treba da te natera da pozelis da imas svoj servis kod njih. Pravio sam bas poredjenje za AWS-om i Google Cloudom gde ovih gluposti nema. Pazi, iskreno prva stvar kad krenem da se igram sa novim VM-om, bacam pogled na odziv. Kako se ponasa, kako rade package manageri, da li imam "preskakanja" polja u PUTTY-ju, speedtest ka Srbiji, itd. Azure je pao kod mene na tom testu dok nisam podesio disk od 100GB da bih imao tih 400IOPS-a sto je max za tu free masinu. Potom mi se na billingu pojavila nova stavka, P10 managed SSD, gde sam skontao da sam kupio drugu kategoriju storidza ustvari. A na sajtu reklamiraju pre svega "128GB premium SSD storage". Onda pise 2x64GB kada se malo dublje gleda i stoji naznaka "P6" sto je 64GB.

Bas zato sto je proba ne treba da bude toliko zakljucano, dajte da vidim sta nudite. Mene vadi ta prica da sam dobio 500$ kredita, pre toga nikad nisam isprobavao Azure, a Google Cloud free trial funkcionise po istom principu, samo sa 300$ svakom korisniku (ja sam dobio povlastice kod Azurea), i kod google clouda stvarno mogu da podesim sve mnogo bolje nego kod Azurea. Takodje, free korisnici su forsirani da koriste njihov SQL server, a ne mogu recimo kao kod AWSa da koriste EBS gde je moguce birati tip servera- MariaDB, MySQL, SQL, itd. Znaci MySQL server kao instanca nije free. Dok kod AWSa jeste, a kod google clouda spada pod tih 300$ kredita.

Jos jedna stvar - ta "proba" o kojoj pricas je neizvodljiva na Windows VM. Ne mozes da podignes GUI Win server jer dobijes samo 1GB RAMa. Pokusao i crashovale su mi aplikacije u nedogled. Tek core verzija win os-a je radila donekle dobro.

Da napomenem opet, glavni problem koji ja imam s njima je sto im je "premium ssd storage" previse ogranicen. 64GB SSD prostora uopste nije malo, a zakljucano je na 240 IOPSa. Ima ljudi koji bi placali to, a izaslo bi ih 12$ mesecno. Da li bi iko dao 12$ za 240 IOPSa, a da za 500 IOPSa moraju da uzmu disk od 128GB iako im ne treba toliki prostor? Pa njihovi storage arrayevi imaju ko zna kakve performanse, cisto sumnjam da ih koci da daju 64GB sa malo vise od 10MB/s protoka i 240 IOPSa.

Nije za server-environment, ali EVO 850 ima 50k-85k IOPSa. 1TB podelis na 16 korisnika = 64GB. Podeli taj najgori slucaj IOPSa koji sam ja video (50k) i dobijes ~3000IOPSa. Podeli throughoutput diska od min 500MB/s i dobijes 31MB/s. Jedino tu ogranicenje mogu da shvatim. A ko zna koji je ovde raid array u pitanju i performanse.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Dexic
ASP

Član broj: 253999
Poruke: 3640



+1328 Profil

icon Re: Azure VM i njihov ocajan IOPS26.12.2018. u 18:30 - pre 5 meseci
1TB? Vrlo lako se koriste 4/8TB. I to sto ti imas 64GB ne znaci da mozes da ih iskoritis ipak.
Na Cloud-u to nije uvek tako. Moze da se desi da ti je dodeljeno toliko, ali VM dobije "disk full" ;)

Taj SSD nije dedicated. On se koristi po potrebi. Bices ti (probni) i neki ozbiljan korisnik, koji ce mozda i 50K IOPSa da koristi.


NA GCloud dobijas isto 12 meseci free za probu? Ili ono 300$ pa koliko te izadje? Mozda i gledam drugu stvar, mi smo dobili Azure 750 hours/month credit za probu, ne 500$. Ako ti dobijas $credits da iskoritis, a ne time, onda si u pravu. Jedino da to rade jer 500$ ne moze na skupljim masinama da traje dugo?
 
Odgovor na temu

Zlatni_bg
Beograd

Član broj: 65708
Poruke: 3420
*.dynamic.sbb.rs.



+384 Profil

icon Re: Azure VM i njihov ocajan IOPS27.12.2018. u 02:31 - pre 5 meseci
Pazi, google ti daje 12 meseci i 300$, pa sta prvo ode. Sto je skroz korektno s obzirom da imaju vrlo dobru skalabilnost, mozes da napravis masinu za ispod 10$ mesecno, a mozes i sasvim solidnu za 35$ mesecno pa da ti istraje skoro ceo period. Svaki delic masine mozes da napravis. Ako zelis Linux VM sa 5GB diskom, dobices je. Azure ne daje masine ispod 32GB.

Azure ne daje kredite, daje free servise na 12 meseci. Ja sam imao par upita oko njihovog SQL servera, gde sam ih kontaktirao jer mi je trebao ogroman storidz da mi kazu sta je najbolje za performanse i cost efficency. Hteo sam da uzmem trial na Azure-u, i rep mi je ponudio da umesto free perioda dobijem 500$ kredita i isprobam sa tim novcem sve sto mogu, kada sam im prikazao aplikaciju i njen throughoutput (zaista je ogromno a i dalje je u izradi pa ne bih da objavljujem trenutno). Poenta je sto mi treba nekad i par hiljada upita u sekundi ka bazi. Recimo da baza ima oko 100k "grupa" sa po 50 clanova, gde svaki clan ima bar 20 karakteristika, i da takodje grupe imaju dnevnu statistiku koja treba u odredjeno vreme da se osvezi. Neophodno je neke stvari raditi real-time. Baza je najkompleksniji deo svega, ostatak je interpretacija podataka i prerada za popunjavanje baze dodatno. Kada su mi vec ponudili da testiram njihove servise, bio sam u fazonu da isprobam i ostale stvari koje imaju u ponudi, jer ne bih da rastrkam aplikaciju na 5 mesta.

Onda sam zeleo da vidim sta free korisnici dobijaju i razocarao se. Znaci, malo nevezano za moje potrebe sam radio testiranje onoga sto nude i dosao do ovih rezultata. Premium SSD storidz koji pruzaju ima 99.9999% dostupnost, pa je ipak tesko da ce se ikad dobiti "disk full" greska. Zato i isprobavam taj tip storidza. On je ujedno i ono sto ce free korisnici dobiti.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Dexic
ASP

Član broj: 253999
Poruke: 3640



+1328 Profil

icon Re: Azure VM i njihov ocajan IOPS27.12.2018. u 17:34 - pre 5 meseci
Dostupnost i iskoristivost storage-a nisu direktno povezane.
To su moguce greske, i VMovi umeju da ih na pravi nacin prikazu, umesto da puknu u takom "pa ovo nije fizicki moguce" scenariu. Cudan je osecaj ako ti se to desi, redak, ali nije nemoguce da se desi i da ti dostupnost nije ugrozena.

Tebi je Azure ponudio $credits, ali ipak te je ogranicio kao da si free user, ne mozes da ih spucas onako kako zelis? Mika kao da se sprdaci sa cloudom, vise da je fora "evo i mi imamo", nego pravi proizvod izgleda.
 
Odgovor na temu

Zlatni_bg
Beograd

Član broj: 65708
Poruke: 3420
*.dynamic.sbb.rs.



+384 Profil

icon Re: Azure VM i njihov ocajan IOPS27.12.2018. u 18:32 - pre 5 meseci
Mozda me nisi razumeo :) Nisam ogranicen ni u kakvoj meri, imam pravo na punih 500$ kredita, kako god zelim da iskoristim (s tim sto SQL instanca sa 500$ ne moze da radi ni pola meseca). Na to dodatno, imam i 12 meseci free servisa kao i svi ostali korisnici free azure naloga.

Znaci nisam ogranicen, imam tih 500$ kredita, ali fora je sto sam hteo da isprobam i ono sto ne trosi 500$ kredita, poput tih VM-ova B1s, koji su free. Tu sam naleteo na problem sa IOPS-om. Jednostavno, previse se stekaju za IOPSe, a mozda je i deljeno CPU jezgro takodje problem - mada nisam primetio. Da bi dobio 1k IOPS-a moras da uzmes 256GB disk koji kosta 45$/mesec, sto je okej ako ti zaista treba 256GB. Fora je sto korisnicima uglavnom ne treba toliko prostora ali im trebaju IOPSi, a ne mozes da skaliras IOPSe bez povecanja kapaciteta. Za 1TB dobijas 4k IOPSa, za 4TB dobijas 7.5K IOPSa, sto ako hoces iskreno, za premium SSD storidz, zvuci prilicno smesno.

E sad, non-premium SSD ima fiksan IOPS od 500 nezavisno od kapaciteta, s tim sto ti se naplacuje svaka IO operacija :D Znaci komedija s njima... pitam se da li su sazreli za ozbiljan cloud hosting.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

[es] :: Cloud Computing Services :: Azure VM i njihov ocajan IOPS

Strane: 1 2 3

[ Pregleda: 4403 | Odgovora: 57 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.