Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Pracenje ukupnog upisa na particiju

[es] :: Linux :: Pracenje ukupnog upisa na particiju

[ Pregleda: 1915 | Odgovora: 12 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Pracenje ukupnog upisa na particiju02.09.2018. u 13:51 - pre 67 meseci
Pozdrav,

Potreban mi je adekvatan softver za pracenje ukupnog upisa na, u ovom slucaju posto je SoC sistem sa Armbianom, SD karticu na kojoj je mountovan "/". Znaci nesto na fazon iostat-a, samo da radi 24/7 monitoring upisa, po mogucnosti sto vise lightweight :) Radio bih neke testove da vidim sta moze da mi najvise skodi zivotu SD kartice, pa bih gledao sta da se cuva samo u RAMu a po potrebi vremenski upisuje na SD.

Svi saveti dobrodosli :)
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Pracenje ukupnog upisa na particiju03.09.2018. u 12:09 - pre 67 meseci
Bamp i dalje.

https://www.kernel.org/doc/Doc...n/ABI/testing/procfs-diskstats

Je l' ima nesto sem ovoga ili da interpretiram podatke odavde?
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
82.117.201.26



+1064 Profil

icon Re: Pracenje ukupnog upisa na particiju03.09.2018. u 12:16 - pre 67 meseci
iotop?
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Pracenje ukupnog upisa na particiju03.09.2018. u 12:24 - pre 67 meseci
Potrebno iscitavanje ukupnog broja upisanih podataka od bootovanja sistema pa do tog trenutka, nisam siguran da iotop to moze?
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
82.117.201.26



+1064 Profil

icon Re: Pracenje ukupnog upisa na particiju03.09.2018. u 14:26 - pre 67 meseci
E pa sad. citaj /proc/diskstats tamo sve imas potrebno.
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Pracenje ukupnog upisa na particiju03.09.2018. u 18:03 - pre 67 meseci
Pa i citam, samo postoji malo "zbrke" oko izgleda razlicitih verzija kernela, jer ovde:

https://www.kernel.org/doc/Doc...n/ABI/testing/procfs-diskstats imam 14 polja sa vrednostima, a ovde u dokumentaciji za isti imam 15:

https://www.kernel.org/doc/Documentation/iostats.txt

Imam problem jer su nazivi polja za vrednosti razliciti, tacnije ne znam koje mi je polje za sta. Lako iscupam sa fdisk -l velicinu sektora za racunanje u *bajtima, ali ne mogu da skapiram koja mi je vrednost relevantna.

Kernel u armbianu je "4.14.18-sunxi", u pitanju je distro na debian stretchu.

Ova deseta vrednost iz diskstatsa bi trebalo da je to, ali rizikujem bez dokumentacije i neke potvrde. A radi se o SD kartici na kojoj je sistem pa nemam SMART.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Pracenje ukupnog upisa na particiju03.09.2018. u 18:16 - pre 67 meseci
Da objasnim malo, pravim bekend upravljanje za armbian (verovatno web app) sa nekim znacajnim podacima za sistem, automatizaciju gasenja jezgara kada nisu potrebna (ARM jezgra mogu da se gase u potpunosti za razliku od ostalih), a znacajan faktor mi je broj upisa na SD karticu jer je najpodloznija crkavanju zbog flash memorije (znas i sam kako si prosao sa ruterom :D) Neophodno mi je da pratim desavanje oko upisa i ispisa system-wide da vidim koliko se koristi RAM da se SD ne opterecuje/ostecuje, a kada dolazi do pisanja po SD kartici.
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Panta_
Aleksandar Pantić
Kragujevac

Član broj: 214959
Poruke: 790



+162 Profil

icon Re: Pracenje ukupnog upisa na particiju03.09.2018. u 19:03 - pre 67 meseci
Pogledaj sysstat tools: https://github.com/sysstat/sysstat i sar komandu.

Code:
sar -dp 1
07:48:11 PM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
07:48:12 PM       sdb      2.00      0.00     72.00     36.00      0.00      0.00      0.00      0.00

Average:          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
Average:          sdb     12.68    912.47    283.06     94.31      0.01      0.91      0.27      0.34


Citat:
-d Report activity for each block device. When data are displayed, the device specification devM-n is generally used (DEV column). M is the major number of the device and n its minor number.
Device names may also be pretty-printed if option -p is used or persistent device names can be printed if option -j is used (see below). Note that disk activity depends on sadc options -S
DISK and -S XDISK to be collected. The following values are displayed:

tps
Total number of transfers per second that were issued to physical devices. A transfer is an I/O request to a physical device. Multiple logical requests can be combined into a single
I/O request to the device. A transfer is of indeterminate size.

rd_sec/s
Number of sectors read from the device. The size of a sector is 512 bytes.

wr_sec/s
Number of sectors written to the device. The size of a sector is 512 bytes.

avgrq-sz
The average size (in sectors) of the requests that were issued to the device.

avgqu-sz
The average queue length of the requests that were issued to the device.

await
The average time (in milliseconds) for I/O requests issued to the device to be served. This includes the time spent by the requests in queue and the time spent servicing them.

svctm
The average service time (in milliseconds) for I/O requests that were issued to the device. Warning! Do not trust this field any more. This field will be removed in a future sysstat
version.

%util
Percentage of elapsed time during which I/O requests were issued to the device (bandwidth utilization for the device). Device saturation occurs when this value is close to 100% for
devices serving requests serially. But for devices serving requests in parallel, such as RAID arrays and modern SSDs, this number does not reflect their performance limits.
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Pracenje ukupnog upisa na particiju03.09.2018. u 19:39 - pre 67 meseci
Odlicna stvar, dok nisam video "sardc" mislio sam da ni to ne radi posao jer uglavnom cita sve ovo sto ja vec mogu preko "cat"-a da iscitam.

Znas li mozda koliko je "resource heavy" drzati daemon u pozadini da radi monitoring?
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Burgos
Nemanja Borić
Amazon Web Services
Berlin

Član broj: 12484
Poruke: 1947
*.m247.ro.

Sajt: stackoverflow.com/users/1..


+480 Profil

icon Re: Pracenje ukupnog upisa na particiju03.09.2018. u 21:28 - pre 67 meseci
Citat:
Imam problem jer su nazivi polja za vrednosti razliciti, tacnije ne znam koje mi je polje za sta. Lako iscupam sa fdisk -l velicinu sektora za racunanje u *bajtima, ali ne mogu da skapiram koja mi je vrednost relevantna.


Oba dokumenta su ista, samo drugi ne pokazuje `minor`, `major` i `device name`:

Citat:
If you look at
``/proc/diskstats``, the eleven fields will be preceded by the major and
minor device numbers, and device name


I onda mapping 1 na 1:

Code:

 4 - reads completed successfully  <-> # of reads completed
 5 - reads merged                  <-> # of reads merged
 6 - sectors read                  <-> # of sectors read
 7 - time spent reading (ms)       <-> # of milliseconds spent reading
 8 - writes completed              <-> # of writes completed
 9 - writes merged                 <-> # of writes merged
10 - sectors written               <-> # of sectors written
11 - time spent writing (ms)       <-> # of milliseconds spent writing
12 - I/Os currently in progress    <-> # of I/Os currently in progress
13 - time spent doing I/Os (ms)    <-> # of milliseconds spent doing I/Os
14 - weighted time spent doina...  <-> weighted # of milliseconds spent...
15 - discards completed succes...  <-> # of discards completed
16 - discards merged               <-> # of discards merged
17 - sectors discarded             <-> # of sectors discarded
18 - time spent discarding         <-> # of milliseconds spent discarding


Pri čemu na tvom kernelu nećeš imati poslednja četiri polja, ali ti i nisu potrebna -
svakako čitaš samo do desetog.

Lako je napraviti skriptu sa awk ili u C u kojoj čitaš svakih recimo trideset sekundi (ili
koliko ti je potrebno) i samo pratiš porast desetog polja. Čitanje ovog fajla je veoma
"jeftino".
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Pracenje ukupnog upisa na particiju03.09.2018. u 21:48 - pre 67 meseci
Deseto mi je jedino i bitno, zato sam brojao unazad :p Ispao sam malo glup i brzoplet u ovom slucaju, izvinjavam se. Manje pisanja, vise citanja.

Po potrebi ce se raditi citanje ako koristim sam diskstats fajl jer onda nemam potrebu za dodatnim monitoringom (bice mi bitno samo realtime citanje u aplikaciji - tada ce se i pozivati f-ja). A za opterecivanje resursa sam pitao za sadc posto vidim da svasta loguje u RAM verovatno pa posle pise na disk. Bilo bi mi krivo da iscitavam sve preko sar-a jer mi je bukvalno samo I/O na disk ostao.

Jos jedno pitanje imam, manje mi je bitno jer generalno gledam load average a ne CPU utilization pri paljenju jezgara. Radim neke testove sa time gde mogu da ustedim najvise energije (gasenjem jezgara i spustanjem frekvencije) te sam dosao do zakljucka da drzim 2 jezgra upaljena i na freq od 648MHz (eventualno 480MHz - i dalje radim testove) da bi sistem radio sasvim solidno. Cim krene jaci load, prvo preko governora podizem frekvenciju, ukoliko je dignem preko 900MHz palim jos jedno jezgro, potom jos jedno, jer mi samo upaljeno jezgro jede najvise struje. Ubacio bih pracenje cpu utilizationa cisto kao egzotiku, ali po jezgrima, ukoliko je to ikako moguce, jer nigde u dokumentaciji kernela ili bilo cega nisam uspeo da nadjem fajl koji bi sadrzao takvu informaciju. mpstat pa (100% - idle) ili imam odakle da iscitam taj podatak?
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

Burgos
Nemanja Borić
Amazon Web Services
Berlin

Član broj: 12484
Poruke: 1947
*.clues.ro.

Sajt: stackoverflow.com/users/1..


+480 Profil

icon Re: Pracenje ukupnog upisa na particiju03.09.2018. u 21:59 - pre 67 meseci
/proc/stat sadrži per-core informacije: https://www.centos.org/docs/5/...oyment_Guide/s2-proc-stat.html

Ovo sam ja sklepao za upotrebu na sličnim uređajima, ali je princip standardan:

https://github.com/shield-ai/s...6f81734/src/sys_stats.cpp#L650

Ideja je da pročitaš koliko je CPU bio zauzet i koliko je bio "idle" i da zapamtiš između dva čitanja i onda izračunaš usage
kao

Code:
usage[i] = (((float)d_total - d_idle) / d_total) * 100.f;


gde je d_total razlika total između dva čitanja a d_idle razlika idle između dva čitanja (ovo je za jedan core, i
onda za sve ostale isto).

P.S. tu malo niže je i za praćenje diskstat-a.
 
Odgovor na temu

Zlatni_bg
Nikola S
Beograd

Član broj: 65708
Poruke: 4420
*.dynamic.sbb.rs.



+498 Profil

icon Re: Pracenje ukupnog upisa na particiju03.09.2018. u 22:09 - pre 67 meseci
Alal vera doktore ;)

Hvala puno!
THE ONLY EASY DAY WAS YESTERDAY
 
Odgovor na temu

[es] :: Linux :: Pracenje ukupnog upisa na particiju

[ Pregleda: 1915 | Odgovora: 12 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.