Tema
Boje
Pismo
Registracija

Novo

Forum kao aplikacija na telefonu

Dodajte forum na početni ekran i koristite ga kao aplikaciju, sa menijem na dnu ekrana.

Kako se dodaje

Pracenje ukupnog upisa na particiju

Odgovori Nova tema
Štampanje RSS teme Kopiraj vezu do teme Podeli na Facebook-u Podeli na X-u (Twitter) Idi na poslednju poruku
  • 12 odgovora
  • 3.128 pregleda

Najnovija ↓

Pracenje ukupnog upisa na particiju 02.09.2018. u 14:51 · pre 99 meseci #1
Pozdrav,

Potreban mi je adekvatan softver za pracenje ukupnog upisa na, u ovom slucaju posto je SoC sistem sa Armbianom, SD karticu na kojoj je mountovan "/". Znaci nesto na fazon iostat-a, samo da radi 24/7 monitoring upisa, po mogucnosti sto vise lightweight :) Radio bih neke testove da vidim sta moze da mi najvise skodi zivotu SD kartice, pa bih gledao sta da se cuva samo u RAMu a po potrebi vremenski upisuje na SD.

Svi saveti dobrodosli :)
Potpis
THE ONLY EASY DAY WAS YESTERDAY
Re: Pracenje ukupnog upisa na particiju 03.09.2018. u 13:24 · pre 99 meseci #4
Potrebno iscitavanje ukupnog broja upisanih podataka od bootovanja sistema pa do tog trenutka, nisam siguran da iotop to moze?
Potpis
THE ONLY EASY DAY WAS YESTERDAY
Re: Pracenje ukupnog upisa na particiju 03.09.2018. u 19:03 · pre 99 meseci #6
Pa i citam, samo postoji malo "zbrke" oko izgleda razlicitih verzija kernela, jer ovde:

https://www.kernel.org/doc/Doc...n/ABI/testing/procfs-diskstats imam 14 polja sa vrednostima, a ovde u dokumentaciji za isti imam 15:

https://www.kernel.org/doc/Documentation/iostats.txt

Imam problem jer su nazivi polja za vrednosti razliciti, tacnije ne znam koje mi je polje za sta. Lako iscupam sa fdisk -l velicinu sektora za racunanje u *bajtima, ali ne mogu da skapiram koja mi je vrednost relevantna.

Kernel u armbianu je "4.14.18-sunxi", u pitanju je distro na debian stretchu.

Ova deseta vrednost iz diskstatsa bi trebalo da je to, ali rizikujem bez dokumentacije i neke potvrde. A radi se o SD kartici na kojoj je sistem pa nemam SMART.
Potpis
THE ONLY EASY DAY WAS YESTERDAY
Re: Pracenje ukupnog upisa na particiju 03.09.2018. u 19:16 · pre 99 meseci #7
Da objasnim malo, pravim bekend upravljanje za armbian (verovatno web app) sa nekim znacajnim podacima za sistem, automatizaciju gasenja jezgara kada nisu potrebna (ARM jezgra mogu da se gase u potpunosti za razliku od ostalih), a znacajan faktor mi je broj upisa na SD karticu jer je najpodloznija crkavanju zbog flash memorije (znas i sam kako si prosao sa ruterom :D) Neophodno mi je da pratim desavanje oko upisa i ispisa system-wide da vidim koliko se koristi RAM da se SD ne opterecuje/ostecuje, a kada dolazi do pisanja po SD kartici.
Potpis
THE ONLY EASY DAY WAS YESTERDAY
Re: Pracenje ukupnog upisa na particiju 03.09.2018. u 20:03 · pre 99 meseci #8
Pogledaj sysstat tools: https://github.com/sysstat/sysstat i sar komandu.

Code:
sar -dp 1
07:48:11 PM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
07:48:12 PM       sdb      2.00      0.00     72.00     36.00      0.00      0.00      0.00      0.00

Average:          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
Average:          sdb     12.68    912.47    283.06     94.31      0.01      0.91      0.27      0.34


Citat:
-d Report activity for each block device. When data are displayed, the device specification devM-n is generally used (DEV column). M is the major number of the device and n its minor number.
Device names may also be pretty-printed if option -p is used or persistent device names can be printed if option -j is used (see below). Note that disk activity depends on sadc options -S
DISK and -S XDISK to be collected. The following values are displayed:

tps
Total number of transfers per second that were issued to physical devices. A transfer is an I/O request to a physical device. Multiple logical requests can be combined into a single
I/O request to the device. A transfer is of indeterminate size.

rd_sec/s
Number of sectors read from the device. The size of a sector is 512 bytes.

wr_sec/s
Number of sectors written to the device. The size of a sector is 512 bytes.

avgrq-sz
The average size (in sectors) of the requests that were issued to the device.

avgqu-sz
The average queue length of the requests that were issued to the device.

await
The average time (in milliseconds) for I/O requests issued to the device to be served. This includes the time spent by the requests in queue and the time spent servicing them.

svctm
The average service time (in milliseconds) for I/O requests that were issued to the device. Warning! Do not trust this field any more. This field will be removed in a future sysstat
version.

%util
Percentage of elapsed time during which I/O requests were issued to the device (bandwidth utilization for the device). Device saturation occurs when this value is close to 100% for
devices serving requests serially. But for devices serving requests in parallel, such as RAID arrays and modern SSDs, this number does not reflect their performance limits.
Sviđa mi se1
Re: Pracenje ukupnog upisa na particiju 03.09.2018. u 20:39 · pre 99 meseci #9
Odlicna stvar, dok nisam video "sardc" mislio sam da ni to ne radi posao jer uglavnom cita sve ovo sto ja vec mogu preko "cat"-a da iscitam.

Znas li mozda koliko je "resource heavy" drzati daemon u pozadini da radi monitoring?
Potpis
THE ONLY EASY DAY WAS YESTERDAY
Re: Pracenje ukupnog upisa na particiju 03.09.2018. u 22:28 · pre 99 meseci #10
Citat:
Imam problem jer su nazivi polja za vrednosti razliciti, tacnije ne znam koje mi je polje za sta. Lako iscupam sa fdisk -l velicinu sektora za racunanje u *bajtima, ali ne mogu da skapiram koja mi je vrednost relevantna.


Oba dokumenta su ista, samo drugi ne pokazuje `minor`, `major` i `device name`:

Citat:
If you look at
``/proc/diskstats``, the eleven fields will be preceded by the major and
minor device numbers, and device name


I onda mapping 1 na 1:

Code:

 4 - reads completed successfully  <-> # of reads completed
 5 - reads merged                  <-> # of reads merged
 6 - sectors read                  <-> # of sectors read
 7 - time spent reading (ms)       <-> # of milliseconds spent reading
 8 - writes completed              <-> # of writes completed
 9 - writes merged                 <-> # of writes merged
10 - sectors written               <-> # of sectors written
11 - time spent writing (ms)       <-> # of milliseconds spent writing
12 - I/Os currently in progress    <-> # of I/Os currently in progress
13 - time spent doing I/Os (ms)    <-> # of milliseconds spent doing I/Os
14 - weighted time spent doina...  <-> weighted # of milliseconds spent...
15 - discards completed succes...  <-> # of discards completed
16 - discards merged               <-> # of discards merged
17 - sectors discarded             <-> # of sectors discarded
18 - time spent discarding         <-> # of milliseconds spent discarding


Pri čemu na tvom kernelu nećeš imati poslednja četiri polja, ali ti i nisu potrebna -
svakako čitaš samo do desetog.

Lako je napraviti skriptu sa awk ili u C u kojoj čitaš svakih recimo trideset sekundi (ili
koliko ti je potrebno) i samo pratiš porast desetog polja. Čitanje ovog fajla je veoma
"jeftino".
Sviđa mi se1
Re: Pracenje ukupnog upisa na particiju 03.09.2018. u 22:48 · pre 99 meseci #11
Deseto mi je jedino i bitno, zato sam brojao unazad :p Ispao sam malo glup i brzoplet u ovom slucaju, izvinjavam se. Manje pisanja, vise citanja.

Po potrebi ce se raditi citanje ako koristim sam diskstats fajl jer onda nemam potrebu za dodatnim monitoringom (bice mi bitno samo realtime citanje u aplikaciji - tada ce se i pozivati f-ja). A za opterecivanje resursa sam pitao za sadc posto vidim da svasta loguje u RAM verovatno pa posle pise na disk. Bilo bi mi krivo da iscitavam sve preko sar-a jer mi je bukvalno samo I/O na disk ostao.

Jos jedno pitanje imam, manje mi je bitno jer generalno gledam load average a ne CPU utilization pri paljenju jezgara. Radim neke testove sa time gde mogu da ustedim najvise energije (gasenjem jezgara i spustanjem frekvencije) te sam dosao do zakljucka da drzim 2 jezgra upaljena i na freq od 648MHz (eventualno 480MHz - i dalje radim testove) da bi sistem radio sasvim solidno. Cim krene jaci load, prvo preko governora podizem frekvenciju, ukoliko je dignem preko 900MHz palim jos jedno jezgro, potom jos jedno, jer mi samo upaljeno jezgro jede najvise struje. Ubacio bih pracenje cpu utilizationa cisto kao egzotiku, ali po jezgrima, ukoliko je to ikako moguce, jer nigde u dokumentaciji kernela ili bilo cega nisam uspeo da nadjem fajl koji bi sadrzao takvu informaciju. mpstat pa (100% - idle) ili imam odakle da iscitam taj podatak?
Potpis
THE ONLY EASY DAY WAS YESTERDAY
Re: Pracenje ukupnog upisa na particiju 03.09.2018. u 22:59 · pre 99 meseci #12
/proc/stat sadrži per-core informacije: https://www.centos.org/docs/5/...oyment_Guide/s2-proc-stat.html

Ovo sam ja sklepao za upotrebu na sličnim uređajima, ali je princip standardan:

https://github.com/shield-ai/s...6f81734/src/sys_stats.cpp#L650

Ideja je da pročitaš koliko je CPU bio zauzet i koliko je bio "idle" i da zapamtiš između dva čitanja i onda izračunaš usage
kao

Code:
usage[i] = (((float)d_total - d_idle) / d_total) * 100.f;


gde je d_total razlika total između dva čitanja a d_idle razlika idle između dva čitanja (ovo je za jedan core, i
onda za sve ostale isto).

P.S. tu malo niže je i za praćenje diskstat-a.
Sviđa mi se1
Re: Pracenje ukupnog upisa na particiju 03.09.2018. u 23:09 · pre 99 meseci #13
Alal vera doktore ;)

Hvala puno!
Potpis
THE ONLY EASY DAY WAS YESTERDAY
Sviđa mi se1
Odgovori
Prijavite se da biste odgovorili u ovoj temi.PrijavaRegistracija

Premeštanje teme