[es] - Statistika - dogadjaji kroz vreme, najbolji nacin, mozda SPSS ?

zimbra

Član broj: 292753
Poruke: 71
*.dynamic.sbb.rs.

+56 Profil

Statistika - dogadjaji kroz vreme, najbolji nacin, mozda SPSS ?

^{07.04.2013. u 01:56 - pre 134 meseci}

Imam potrebu da izgenerišem neki izveštaj iz vrlo jednostavnih podataka.

EventID, TimeStamp

O čemu se radi, imam nekih 100k slogova (ne moram da koristim sve, mogu i da radim sa 10% toga ako je problem količina ali generalno veća količina uvek bolja, mogu da imam i više slogova, ovih 100k je nekih 24h) koji čuvaju kada se neki događaj desio. U proseku se svaki događaj, po mojoj pretpostavci, desi oko 10 puta u ovih 100k slogova iliti imam oko 10k jedinstvenih događaja. Zanima me razna statistika koju mogu da iščupam iz ovih podataka:
- koliko se istih a koliko različitih i koliko ukupno događaja desi u vremenskoj jedinici (prosečno i kakva je raspodela broja događaja)
- koliko se isti događaj razuđeno dešava (da li postoji grupisanje istih događaja, u koliko grupa, ako definišem širinu grupisanja u vremenskoj jedinici zanima me koliko prosečno grupa ima po događaju, koliko su grupe velike i naravno sve to osim proseka i sa raspodelom)

Znanja iz statistike imam malo, učilo se to pre 30 godina, imam neki SPSS v21 koji nikad nisam startovao, tamo negde krajem osamdesetih pocetkom devedesetih sam malo koristio SPSS za neke analize ali davno je to bilo no verovatno ću se snaći, nisam glup, valjda.

Ima li neko ideju koji je najbolji način, da li SPSS ili možda nešto drugo? Ovo je posao koji treba da odradim jednom i verovatno nikad više tako da mi demo verzije raznih programa od 30 dana savršeno rade posao.

hvala unapred

Odgovor na temu

2012

Član broj: 296004
Poruke: 248

+926 Profil

Re: Statistika - dogadjaji kroz vreme, najbolji nacin, mozda SPSS ?

^{08.04.2013. u 21:21 - pre 134 meseci}

Sve sto ti treba mozes odraditi u MS Excel-u. Normalno treba odredjeno poznavanje funkcija u excel-u i poznavanje statistickih formula i njihova primena u excel-u.

Odgovor na temu

zimbra

Član broj: 292753
Poruke: 71
*.dynamic.sbb.rs.

+56 Profil

Re: Statistika - dogadjaji kroz vreme, najbolji nacin, mozda SPSS ?

^{09.04.2013. u 01:47 - pre 134 meseci}

Trenutna količina podataka (24h) je 18,809,656 slogova dok tipova događaja ima 170,006. To i nije neka velika količina podataka, po meni, za ozbiljniju statističku analizu. Ja bih voleo finalno da radim analizu podataka od nedelju dana, ili možda za ceo mesec.

Kada uvezem ove podatke u SPSS i pustim bilo koji analizator posle par minuta ili par desetina minuta ili par sati, zavisno od tipa analize koju pustim, SPSS samo umre jer mu nije dosta nekog resursa (dal crkne što nema više mesta u 16G swap-a koji sam mu dao, il krašira i izbaci neku od 2-3 greške opet uglavnom povezane sa nedostatkom resursa).

Nesto sumnjam da bi se MS EXCELL bolje snašao (nešto sumnjam da mogu uopšte da učitam tu količinu date u excell).

Inače, teoretski, i da koristim mnogo manji data set (24x manji, dakle samo 1h period) i da odbacim 50% tipova događaja, opet je reč o pola miliona slogova koje EXCELL teško da moze i da omiriše.

Ono što bi mi recimo bilo extra korisno je bar neki grafikon koji na X ima vreme a na Y(x_time) ima count(event) where event_date between x_time -5min and x_time + 5min ali nemam pojma kako to da izvedem u SPSS-u tako da ću sada da uzmem da isprogramiram sam neki skript koji ce da mi izgeneriše taj grafik. To mi je uvek bila poslednja stepenica ali sam se ponadao da ću ovde naići na nekog experta za SPSS koji će mi u tri klika rešiti problem pošto sam siguran da neka vrlo standardna statistička analiza postoji za ovakav problem i da je ista implementirana u SPSS, samo je treba znati upotrebiti.

Inače svestan sam da sam inicijalno napisao 100k slogova, to je bilo očekivanje za dnevni volumen, kao što se da videti promašio sam procenu za 2 reda veličine.

Odgovor na temu