Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Azure VM i njihov ocajan IOPS

[es] :: Cloud Computing Services :: Azure VM i njihov ocajan IOPS

Strane: 1 2 3

[ Pregleda: 8730 | Odgovora: 57 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Azure VM i njihov ocajan IOPS19.12.2018. u 18:50 - pre 64 meseci
Pozdrav,

Interesuje me da li se neko igra sa Azure masinama. Od skoro resih da pravim neku paralelu izmedju AWS-a i Azurea, za neke stvari mi Azure mnogo bolje lezi, ali imam ogroman problem sa Linux VM-ovima. Koristim Premium SSD storage, ali iako je disk od 64GB dodat, statistika po njima je:

64GB: 240IOPS, 50MB/s Premium SSD

Sto nikako nije dovoljno. Na koji fazon mogu da iskoristim vise ovih diskova da poboljsam IOPS, i sta je uopste moguce uciniti ovde? Ne ide mi se u nedogled sa kapacitetom jer mi nije potreban a performanse VM-a su toliko niske da ih granicim sa upotrebljivoscu kada radim neki skrejping preko nove aplikacije koju pravim. Koristim B1s masinu.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Azure VM i njihov ocajan IOPS19.12.2018. u 19:12 - pre 64 meseci
Da napomenem da mi google cloud masine najbolje rade, ali definitivno su i najskuplje...
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: Azure VM i njihov ocajan IOPS19.12.2018. u 19:33 - pre 64 meseci
Pa mozes da stavis vise diskova u raid 0.

Koja je paralela u odnosu na AWS i provisioned iops? Jesi li merio?
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Azure VM i njihov ocajan IOPS19.12.2018. u 19:43 - pre 64 meseci
E al pazi, skalira se po velicini diska. 32GB Premium SSD ima 120IOPS-a i 25MB/s, tako da nisam siguran da bih RAID-om ista postigao. Ne znam zasto se zovu "premium ssd", jedina korist je ako je disk veci od 512GB, sto sumnjam da ikome treba na VMu. Ono, uzeo bih dedicated, a za te pare i NVMe :) Ostali diskovi (standard ssd i hdd) su zakucani na 300-500IOPSa.

Nisam merio, trenutno sam se prebacio na google cloud jer mi je mnogo responzivniji. Ako zelis, mogu da odradim testove i na AWS masini, a i na google cloudu. Sve u svemu, na sva 3 provajdera sam koristio manje instance gde nisam video nikakva zagusenja zbog IOPSa (uz to da navedem da na Azureu jedinom ne koristim DB server na masini, tim gore po testove na njima sto su tako losi), dok me Azure UBIJA sto se tice performansi. Radio sam kompletan sysbench i sve se poklapa manje vise sa ostalim masinama, ali IO na disku je mnooooogo los na Azureu.

Bas iz razloga sto mi ni RAID ne radi posao nisam pametan sta da radim. Ne znam tacno sta je problem jer ne radim sa toliko sitnim fajlovima (trenutno pravim neki api za reddit, isprobavam skrejpovanje podataka trenutno), podaci su velicine 500-2000KB, isti posao google masina zavrsi za 2-3x manje vremena, nekad i 5x. Mislio sam da sam bacen na neku uzasnu masinu iz koje vade dusu ali nije to u pitanju po sysbenchu, disk IO je problem koji sam nasao jedino. Zato sam i mislio da je pitanje vezano direktno za Azure jer vidim i po netu da ljudi imaju isti problem.

Rad sam da odradim bilo kakve testove da uporedimo.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Azure VM i njihov ocajan IOPS19.12.2018. u 19:50 - pre 64 meseci
Code:
[root@azureLinux ~]# sysbench --test=fileio --file-total-size=10G --file-test-mo                                                                                        de=rndrw  --max-time=600 --max-requests=0 run
WARNING: the --test option is deprecated. You can pass a script name or path on                                                                                         the command line without any options.
WARNING: --max-time is deprecated, use --time instead
sysbench 1.0.9 (using system LuaJIT 2.0.4)

Running the test with following options:
Number of threads: 1
Initializing random number generator from current time


Extra file open flags: 0
128 files, 80MiB each
10GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      189.73
    writes/s:                     126.49
    fsyncs/s:                     404.68

Throughput:
    read, MiB/s:                  2.96
    written, MiB/s:               1.98

General statistics:
    total time:                          600.0107s
    total number of events:              432551

Latency (ms):
         min:                                  0.00
         avg:                                  1.39
         max:                                342.54
         95th percentile:                      4.49
         sum:                             599414.31

Threads fairness:
    events (avg/stddev):           432551.0000/0.00
    execution time (avg/stddev):   599.4143/0.00

[root@azureLinux ~]#


Napravio sam fajlove velicine 96MB ako ista znaci, radi testiranja preko sysbencha, njegovom komandom prepare. Velicina diska koji koristim je 64GB, po Azureu sam ogranicen na 240IOPS i 50MB/s.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Azure VM i njihov ocajan IOPS19.12.2018. u 20:11 - pre 64 meseci
Zdrava logika nalaze da se prave standardni hdd/ssd diskovi koji imaju fiksan IOPS i od njih prave sw RAID diskovi... osim ako neko nema drugo resenje.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: Azure VM i njihov ocajan IOPS19.12.2018. u 20:36 - pre 64 meseci
Koliko se secam, dok sam ucio AWS resenje da povecas iops je bio raid 0.
https://docs.aws.amazon.com/AW...est/UserGuide/raid-config.html


I na AWS se skalira velicinom diska
https://docs.aws.amazon.com/AW.../UserGuide/EBSVolumeTypes.html

100GB je 5000iops na Provisioned IOPS EBS, ako sam dobro shvatio. Proporcija je 50:1


Jbg linkovi su ka aws jer nemam iskustva jos uvek sa Azure, ali verujem da je vrlo slicna logika
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Azure VM i njihov ocajan IOPS19.12.2018. u 20:51 - pre 64 meseci
Ajde isprobacu, mada koliko vidim za povecanje IOPSa svi koriste standardne ne-premium varijante, a ja sam zbog triala uzeo Premium SSD storidz jer njega ima 128GB. S obzirom da je 32GB daje 120IOPSa... to je 3.75 IOPSa/GB. :D Dok je na AWSu 50.

Uz to, koliko znam AWS ima i neki burst za IOPS kad se nakupe poeni?
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: Azure VM i njihov ocajan IOPS19.12.2018. u 21:11 - pre 64 meseci
Pa i na AWS je 3/GB za General purpose EBS

Da ima neke price o burst ali nisam nesto detaljno citao kako se akumuliraju ti krediti.

Mada pise ovde sve :)
https://docs.aws.amazon.com/AW.../UserGuide/EBSVolumeTypes.html

Citat:
Each volume receives an initial I/O credit balance of 5.4 million I/O credits, which is enough to sustain the maximum burst performance of 3,000 IOPS for 30 minutes. This initial credit balance is designed to provide a fast initial boot cycle for boot volumes and to provide a good bootstrapping experience for other applications. Volumes earn I/O credits at the baseline performance rate of 3 IOPS per GiB of volume size. For example, a 100 GiB gp2 volume has a baseline performance of 300 IOPS.

When your volume requires more than the baseline performance I/O level, it draws on I/O credits in the credit balance to burst to the required performance level, up to a maximum of 3,000 IOPS. Volumes larger than 1,000 GiB have a baseline performance that is equal or greater than the maximum burst performance, and their I/O credit balance never depletes. When your volume uses fewer I/O credits than it earns in a second, unused I/O credits are added to the I/O credit balance. The maximum I/O credit balance for a volume is equal to the initial credit balance (5.4 million I/O credits).
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Azure VM i njihov ocajan IOPS19.12.2018. u 21:27 - pre 64 meseci
Pa pazi, verovatno da imam taj burst ne bih imao problema u ovim naletima kada skrejpujem. Ali ovo nije general purpose, ovo je premium. :D Top of the line sto se tice storidza na Azureu.

Bas cu da uporedim performanse sa armbianom koji radi na class 4 SD kartici sa ovim :D
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: Azure VM i njihov ocajan IOPS19.12.2018. u 22:10 - pre 64 meseci
jel imas jos free tier na AWS? Ako imas i ako te ne mrzi, pokreni neku masinu i testiraj, bas me interesuje jesu li im tačne cifre :)

I probaj na azure da napraviš raid od dva komada, pa vidi da li će biti brže. Pre cele ove priče, negde u nekim temama sam i baš pitao čemu služi RAID 0 misleći da je besmisleno, ali izgleda nije.
 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
109.72.51.23



+1064 Profil

icon Re: Azure VM i njihov ocajan IOPS19.12.2018. u 22:33 - pre 64 meseci
RAID 0 jedino i ima smisla sa SSD ;p
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.isp.telekom.rs.



+498 Profil

icon Re: Azure VM i njihov ocajan IOPS20.12.2018. u 01:24 - pre 64 meseci
Pa ima smisla, ali pod uslovom da imas 2 diska koja imaju zajedno isti kapacitet kao 1 veci, ali i istu brzinu. Ako su brzine ne znam kako ce raid0 doprineti brzini koja je 2x manja. Isprobacu sve i na awsu pa javljam kad odradim neke testove i na azureu.

Bane, ako imas neki drugi test ili predlog, pomagaj :)
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Azure VM i njihov ocajan IOPS20.12.2018. u 07:06 - pre 64 meseci
Pandan Azure masini na AWSu, 1vCPU, 1GB RAM, 20GB gp2 SSD storidza - 100IOPSa (tako pise u EBS - Volumes) - t2.micro. Azure masina ima 240 IOPSa po njihovoj konzoli. Odradio sam pre ovoga 7 run-ova da bih exhaustovao burst poene. Prilicno se sporo trose, a brzo se i skupljaju (jer kad sam bio burstovan, stvarno je cepalo ko ludo - zavrsavalo za ~300sek od 600max sa >2000IOPSa - sa ~2794941 operacija za to vreme):

burst poeni:


aws:
Code:

root@ip-172-31-35-64:~# sysbench --test=fileio --file-total-size=10G --file-test-mode=rndrw  --max-time=600 --max-requests=0 run
sysbench 0.4.12:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 1

Extra file open flags: 0
128 files, 80Mb each
10Gb total file size
Block size 16Kb
Number of random requests for random IO: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Threads started!
Time limit exceeded, exiting...
Done.

Operations performed:  91740 Read, 61160 Write, 195679 Other = 348579 Total
Read 1.3998Gb  Written 955.62Mb  Total transferred 2.3331Gb  (3.9817Mb/sec)
  254.83 Requests/sec executed

Test execution summary:
    total time:                          600.0032s
    total number of events:              152900
    total time taken by event execution: 344.8785
    per-request statistics:
         min:                                  0.00ms
         avg:                                  2.26ms
         max:                                 90.10ms
         approx.  95 percentile:              10.03ms

Threads fairness:
    events (avg/stddev):           152900.0000/0.00
    execution time (avg/stddev):   344.8785/0.00

root@ip-172-31-35-64:~#



Napravih ubuntu masinu a ni u jednom repou nema sysbench v1+, mrzelo me da ga kompajliram. Samo je matematika drugacija :p

Elem, i ovde sam dobio 250 IOPSa iako je bez bursta 100. Taman moze da se uporedi direktno sa Azureom jer mi on nudi 240 IOPSa. Ono sto je problem je sto masina i pored pada u IOPSu i dalje izvrsava skrejpovanje bez problema, dok Azure ne. Takodje instalacije preko yum-a u poredjenju sa CentOS-om na azureuu idu doooosta sporije nego na google cloudu - a ista regija je u pitanju i isti IOPS. Mislio sam da je to problem. Za poredjenje, evo iotesta i sa google cloud masinom:

gcloud:
Code:

Extra file open flags: 0
128 files, 80MiB each
10GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      467.79
    writes/s:                     311.86
    fsyncs/s:                     997.94

Throughput:
    read, MiB/s:                  7.31
    written, MiB/s:               4.87

General statistics:
    total time:                          600.2416s
    total number of events:              1067046

Latency (ms):
         min:                                  0.00
         avg:                                  0.56
         max:                                333.94
         95th percentile:                      1.08
         sum:                             598268.25

Threads fairness:
    events (avg/stddev):           1067046.0000/0.00
    execution time (avg/stddev):   598.2682/0.00

[root@gcloud iotest]#


Google cloud je valjda 30 IOPSa po GB. VM ima 25GB.

Mislim da cu da pokusam da napravim novu Azure VM za pocetak. Osecam se kao da sam na nekom jeftinom openvzu gde nas 10 deli jedno jezgro.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
82.117.201.26



+1064 Profil

icon Re: Azure VM i njihov ocajan IOPS20.12.2018. u 07:16 - pre 64 meseci
"Osecam se kao da sam na nekom jeftinom openvzu gde nas 10 deli jedno jezgro."

Zasto mislis da nije tako? ;p
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Azure VM i njihov ocajan IOPS20.12.2018. u 07:19 - pre 64 meseci
Pa jer sam preko sysbencha radio jos par testova (cpu), i konkurentni su jednom xeon jezgru koje se koristi preko awsa (gde ne znam da li delim jezgro) i na google cloudu gde sigurno ne delim jezgro.

Imas li neku ideju sta dalje da testiram pre nego sto obrisem masinu, cisto da nadjem uzrok ovome ako nije (samo) iops kriv? Cudno mi je i sto je latency dosta bolji na azureu po testu... a imam anomalije.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
82.117.201.26



+1064 Profil

icon Re: Azure VM i njihov ocajan IOPS20.12.2018. u 07:27 - pre 64 meseci
Pa vidi, ako ne delis CPU, ne mora da znaci da ne delis SSD. Ne znam radio sam sa virtualkama ali se nikad nisam bavio
merenjem performansi. Jednostavno, to smo koristili samo za light load servere.
 
Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823



+6883 Profil

icon Re: Azure VM i njihov ocajan IOPS20.12.2018. u 07:35 - pre 64 meseci
A koja je cenovna razlika za isti storage u odnosu na AWS/AZURE/GC?

Jesi li probo sa Provisioned, je l' stvarno da 50:1?
Mada sa burstom GP ti dodje na isto na tih 60GB.
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Azure VM i njihov ocajan IOPS20.12.2018. u 07:54 - pre 64 meseci
Pa ovo i jeste light-load server, generalno za testiranje nekih stvari koje pravim. Dobio sam neki ms exclusive trial od njihovog repa sa 500$ kredita na 12 meseci za Azure i njihovu standardnu godisnju free pretplatu uz to, pa sam resio da vidim sta nude i kako im se ponasa cloud. Trenutno, jedino sto mi se svidja je njihov app engine, ili kako ga zovu "app services". VMovi su katastrofa. Ne kapiram sto iko nudi, na primer, 1GBRAM Win masinu sa non-core edicijom windowsa. Dok se upalilo ono osnovno nabilo je 900MB+, a da ne pricamo o tome da ista firma pravi taj OS, pruza virtualizaciju, pruza resurse, preporucuje to radno okruzenje, pruza sve te servise i daje ga na testiranje :)

Na stranu sve to, daj da probamo da nadjemo sta zeza sistem. Ako je IOPS mogu da pokusavam da menjam dedicated na koji ce da me bace do sutra :)

Nisam probao provisioned, probao sam gp2, sa iopsom zakucanim na 100, s tim sto zbog burstovanja uvek ide preko (aws nisam placao na svom nalogu, odrzavam 2 a ne bih da se zezam s tim). I ako hoces iskreno, svaka im cast sa burstovanjem jer je to cela poenta koriscenja cloud servisa - da dobijes instant ono koliko ti treba u tom trenutku, a kad idleujes, da se stede resursi. Burst poeni se skupljaju zestoko, bukvalno je nemoguce da koristis masinu za bilo sta normalno (osim ako nije neki db-heavy workload) a da budes u manjku.

Cene... ne znam da li mozemo da ih poredimo uopste. Dokle god meni MS gnjavi "premium" ssd od 64GB ovako kako gnjavi, a azure "standardan" ssd burstuje na 2k+ iopsa, gcloud ima 30 IOPSa po GB (10x vise nego Azure), po meni nisu za poredjenje. Mogu da dam neki licni utisak s koriscenjem svih masina generalno, koliko su responzivne, gde se aws i gcloud kolju, dao bih malu prednost gcloudu ali je cena samo za 1vCPU/mesec oko 25$ bez icega ostalog. AWS takodje radi solidno, nisam imao nikakvog stucanja ali sam radio stress testove apachea i jos nekih stvari gde se aws pokazao kao slabija opcija. Otprilike kao DigitalOcean od svega sto sam mogao da testiram. Google cloud se jedini zaista ponasa kao zasebna masina. Ali ovo je subjektivno naravno. Uz to je i najskuplji. Vozim 4GB RAMa, 1vCPU i 25GB, kosta oko 50$ mesecno.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Gojko Vujovic
Amsterdam, NL

Administrator
Član broj: 1
Poruke: 13651



+165 Profil

icon Re: Azure VM i njihov ocajan IOPS20.12.2018. u 08:14 - pre 64 meseci
Obrati paznju i na ovo https://feedback.azure.com/for...ng-established-connections-aft
I dalje nisu resili to, konekcije samo "nestanu" i aplikacije se zaglave dok ne shvate sta se desilo...
 
Odgovor na temu

[es] :: Cloud Computing Services :: Azure VM i njihov ocajan IOPS

Strane: 1 2 3

[ Pregleda: 8730 | Odgovora: 57 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.