Tema
Boje
Pismo
Registracija

Novo

Forum kao aplikacija na telefonu

Dodajte forum na početni ekran i koristite ga kao aplikaciju, sa menijem na dnu ekrana.

Kako se dodaje

Zasto glavi fwrite() pri 25 zapisa/fajlova u sekundi?

Odgovori Nova tema
Štampanje RSS teme Kopiraj vezu do teme Podeli na Facebook-u Podeli na X-u (Twitter) Idi na poslednju poruku
  • 52 odgovora
  • 11.257 pregleda

Najnovija ↓

Re: Zasto glavi fwrite() pri 25 zapisa/fajlova u sekundi? 24.09.2020. u 19:03 · pre 74 meseca #41
Citat:
mikikg:
Posto ne mogu to procesiranje paketa da menjam/testiram bez senzora, hajde onda makar da izmestim problem na drugo mesto, tj da smislim nesto sto ce sigurno da mi zavrsi posao za snimanje semplova kada odem na teren kod masine.

Taj senzor ima u sebi TCP server i dozvoljava vise klient konekcija.
Jednom kada mu se posalje komanda za startovanje on posle sam izbacuje pakete, dakle odatle nadalje je sve u jednom smeru, svakih 40ms pljune jedan paket.

Predlozite mi neko *nix resenje/komandu koja se okaci na taj soket i sve sto primi da snima u jedan fajl? Posle cu ja taj fajl da obradujem i vadim pakete ...



Pošto moraš da znaš protokol ne vidim problem da implementiraš server koji će da glumi senzor... please

edit:
ovo please je sam ubacio telefon ;)
Re: Zasto glavi fwrite() pri 25 zapisa/fajlova u sekundi? 24.09.2020. u 22:27 · pre 74 meseca #44
Citat:
Branimir Maksimovic:
Citat:
mikikg:
Posto ne mogu to procesiranje paketa da menjam/testiram bez senzora, hajde onda makar da izmestim problem na drugo mesto, tj da smislim nesto sto ce sigurno da mi zavrsi posao za snimanje semplova kada odem na teren kod masine.

Taj senzor ima u sebi TCP server i dozvoljava vise klient konekcija.
Jednom kada mu se posalje komanda za startovanje on posle sam izbacuje pakete, dakle odatle nadalje je sve u jednom smeru, svakih 40ms pljune jedan paket.

Predlozite mi neko *nix resenje/komandu koja se okaci na taj soket i sve sto primi da snima u jedan fajl? Posle cu ja taj fajl da obradujem i vadim pakete ...



Pošto moraš da znaš protokol ne vidim problem da implementiraš server koji će da glumi senzor... please

edit:
ovo please je sam ubacio telefon ;)


Heh, pa ne moram bas toliko detaljno da poznajem protokol, nije jednostavan ima tu dosta stvari:
https://www.sick.com/media/pdf/7/27/927/IM0045927.PDF

A i kada bi napravio protokol opet imam problem sa fundamntalnim stvarima koje se ticu tog senzora a to su izmerene vrednosti tacaka, kojim trikovima da simuliram na primer ovakav rezultat, "fleka od tacaka" koja menja oblik i seta se po ekranu, + jitter + false-detection + + + ...
Ovo je kao jedan objekat koji pratim, tek trebam da se bakcem sa algoritmima koji nekako/nesto prepoznaju u toj gomili tacaka ... Zato mi treba snimak, ne mogu to da simuliram ...

Potpis
Site about Software Defined Radio – SDR
http://yu3ma.net/
https://github.com/yu3ma
On-line LM317 kalkulator
lidar-sample.png9.39k
Re: Zasto glavi fwrite() pri 25 zapisa/fajlova u sekundi? 24.09.2020. u 22:36 · pre 74 meseca #45
Ma sadrzaj paketa je totalno nebitan. bitno da izsimuliras slanje tih paketa na 40ms. Mogu biti potpuno prazni. Cilj je da popravis onaj read tj prepoznas 0x2 kao pocetak 0x3 kao kraj i odvojis paket, mozes onako kako sam rekao.
Re: Zasto glavi fwrite() pri 25 zapisa/fajlova u sekundi? 24.09.2020. u 23:01 · pre 74 meseca #46
Razumem sta pricas, ja tu imam vise problema, ja sam po default u problemu jer vidi sta mi stize od podataka, to mi je najveca zaludjica tu celoj prici, "hteo sam samo" da snimim seplove i lupio glavom o zid iz taka kada sam probao to tamo da uradim u delu code-a koji obraduje prijem sa soketa, necu to da diram vise, prebacicu se ko covek lepo na drugi soket kanal i asinhrono da hvatam to, ne smem da pipam klasu za to procesiranje, samo mogu da je menjam pod striktno kontrolisanim uslovima i da se testira.
U tom parcetu mi je i neka bitna logika za konverziju sfernih u planarne koordinate, pa hvata neke minimume/maksimume po grupama, kritican mi je taj code, to ce na kraju da bude najverovatnije uvezano ili pripremljeno za ML/AI.
Potpis
Site about Software Defined Radio – SDR
http://yu3ma.net/
https://github.com/yu3ma
On-line LM317 kalkulator
Re: Zasto glavi fwrite() pri 25 zapisa/fajlova u sekundi? 24.09.2020. u 23:30 · pre 74 meseca #48
Citat:
Branimir Maksimovic:
Znas kako ovaj kod nije bas industry strength, tj imas posla sa soketima a ne proveravas da li iskace greska na bogus input
i uopste svaki od tih read/write callova ka soketima moze beskonacno da blokira.
recimo ovo:
Code:

tok = strtok(NULL, " "); //NumberChannels8Bit
    int NumberChannels8Bit;
    sscanf(tok, "%d", &NumberChannels8Bit);
    if (debug)
        printf("NumberChannels8Bit : %d\n", NumberChannels8Bit);
    for (int i = 0; i < NumberChannels8Bit; i++) {

Ne sme nikako da prodje bez provere, jer moze da zaglavi.


Socket select su stavili da bi mogli da setuju timeout, tu je 50ms, cudna vrednost ali to radi, to je kontinualni sistem i jednostavno mora da tera dalje sta god da mu se desi.

Code:

        tv.tv_sec = 0;
        tv.tv_usec = 50000;
        retval = select(sockDesc + 1, &rfds, NULL, NULL, &tv);


Sto se tice bogus inputa i 0x2 0x3, to si u pravu, provericu to ...
Potpis
Site about Software Defined Radio – SDR
http://yu3ma.net/
https://github.com/yu3ma
On-line LM317 kalkulator
Re: Zasto glavi fwrite() pri 25 zapisa/fajlova u sekundi? 03.10.2020. u 02:18 · pre 74 meseca #51
Citat:
mikikg:
Citat:
Branimir Maksimovic:
Znas kako ovaj kod nije bas industry strength, tj imas posla sa soketima a ne proveravas da li iskace greska na bogus input
i uopste svaki od tih read/write callova ka soketima moze beskonacno da blokira.
recimo ovo:
Code:

tok = strtok(NULL, " "); //NumberChannels8Bit
    int NumberChannels8Bit;
    sscanf(tok, "%d", &NumberChannels8Bit);
    if (debug)
        printf("NumberChannels8Bit : %d\n", NumberChannels8Bit);
    for (int i = 0; i < NumberChannels8Bit; i++) {

Ne sme nikako da prodje bez provere, jer moze da zaglavi.


Socket select su stavili da bi mogli da setuju timeout, tu je 50ms, cudna vrednost ali to radi, to je kontinualni sistem i jednostavno mora da tera dalje sta god da mu se desi.

Code:

        tv.tv_sec = 0;
        tv.tv_usec = 50000;
        retval = select(sockDesc + 1, &rfds, NULL, NULL, &tv);


Sto se tice bogus inputa i 0x2 0x3, to si u pravu, provericu to ...


Kakvu svrhu ima timeout kad je petlja? Pazi ulece u beskonacnu petlju na kraju.... to da li ce zauzimati cpu 100% u toj petlji nema nikakve veze.
Re: Zasto glavi fwrite() pri 25 zapisa/fajlova u sekundi? 03.10.2020. u 02:26 · pre 74 meseca #52
Elem da se vratimo na kod:
Code:

o {
        FD_ZERO(&rfds);
        FD_SET(sockDesc, &rfds);

        tv.tv_sec = 0;
        tv.tv_usec = 50000;
        retval = select(sockDesc + 1, &rfds, NULL, NULL, &tv);
        if (retval) {
            len += read(sockDesc, buf + len, 20000 - len);
        }
    } while ((buf[0] != 0x02) || (buf[len - 1] != 0x03));


Dakle, ovo je petlja. Tu select nema nikakvu svrhu. select ima svrhu samo onda kada osim citanja radis jos nesto dok cekas na input. Dakle ovde select moze da se izbaci.
Drugo da ti ne bih komplikovao da obrazlozim sta je ovde propust.
Pitanje buf[0] != 0x2. To. Dakle ako je buf[0] == 2 izlazi iz petlje i tu nastaje karambol. Zato sto nema garancije da je paket ceo procitan. Ako izbacis
to pitanje i ostavis samo buf[len-1] != 0x3 nece upadati u mrtvu petlju zato sto pretpostavimo da svaki kraj paketa zavrsava sa 0x3. Nema garancije
da neces procitati vise paketa, ali bar nece da uleti u mrtvu petlju.
E sad evo kako sam ja (netestirano) odradio, pa vidi, probaj, ne skodi ;)

Code:

~/.../bmaxa_data/examples >>> cat fwc.c                                                                                                                                                              
/* umesto ovoga
do {
        FD_ZERO(&rfds);
        FD_SET(sockDesc, &rfds);

        tv.tv_sec = 0;
        tv.tv_usec = 50000;
        retval = select(sockDesc + 1, &rfds, NULL, NULL, &tv);
        if (retval) {
            len += read(sockDesc, buf + len, 20000 - len);
        }
    } while ((buf[0] != 0x02) || (buf[len - 1] != 0x03));
*/
// stavi ovo
std::string buf;
bool start=false;
char c=0;
while (true){
    int rc = read(sockDesc,&c,1);
    if (rc!=1){ // error process }
    if (c == 0x2){
        start = true;
        buf.clear();
        continue;
    }
    if (c == 0x3){ break; }
    if (start) buf += c;
}
// len is buf.size()

Dakle citas karakter po karakter sve dok ne naletis na 0x3. Ono sto je interesantno je da hvatas pocetak, tj 0x2 znaci skipujes
ako si promasio pocetak.
string sam uzeo jer je tako jednostavnije nego sam da upucavas u neki bafer i bavis se time.
Re: Zasto glavi fwrite() pri 25 zapisa/fajlova u sekundi? 16.11.2020. u 12:21 · pre 72 meseca #53
Mali update na temu, posto sam na srecu lepo organizovao memoriju i sve ovo sto se gore radi se smesta u moju /dev/shm, celu stvar oko snimanja a i tamo neke druge komunikacije sam resio preko NGINX :)

Konkretno nisam dirao ovaj code koji se bavi skumpljanjem podataka, tek cu time da se bavim nakanadno ali sam celu stvar externe I/O komunikacije resio sa jednom C skriptom (NGINX modul) koja pravi most izmedju moje SHM i HTTP (nema nikakav file I/O, sve iz memorije) i to radi mnogo lepo i to moram da napomenem na ARM RPi 2 koji gura i GUI pored svega, NGINX to servira u pozadini bez problema i moze da servira do punih 100Mbit/s na jednom RPi za zauzecem jednog core-a oko 50-55%, sjajno radi.
NGINX radi tako da koliki je PING u mrezi toliko mu treba vremena da vrati odgovor :)

Za klienta sa druge strane konekcije sam iskoristio libCurl koji se pokazao isto odlicno tako da sam na kraju mogao da izvucem cak 450req/s sa paketima od 20kB sto meni ihaaahaaa kako zavrsava posao jer mi je trebalo 25req/s :)
Potpis
Site about Software Defined Radio – SDR
http://yu3ma.net/
https://github.com/yu3ma
On-line LM317 kalkulator
Sviđa mi se2
Odgovori
Prijavite se da biste odgovorili u ovoj temi.PrijavaRegistracija

Premeštanje teme