Baza podataka za logovanje merenja

Re: Baza podataka za logovanje merenja 13.03.2014. u 16:28 · pre 153 meseca #21

Pa ako nije neophodno u relnom vremenu pristupati bazi već samo kasnije u trenutku analize podataka

Relativno brzo možeš da doradiš tvoj program koji je pravio binarne fajlove sa podacima da pravi txt fajlove u formaty SQL upita za ubacivanje u bazu, a onda iz nekog alata ili čak command promta batcha ručno ili iz task shedulara aktiviraš update baze

Re: Baza podataka za logovanje merenja 13.03.2014. u 18:01 · pre 153 meseca #22

Citat:

indicator1: Vec sam potrosio par dana na upoznavanje sa SQL-om pa ne bih da menjam "u pola posla". Pomenuo sam da sam to sve ranije radio i bez baze, pa sam se borio sa tolikom kolicinom podataka. Neki sledeci put cu sigurno pogledati neke od ovih "specijalizovanih" baza, sad mora da bude besplatno i po mene jednostavno.

Jbt, potrošio si par dana na upoznavanje sa tematikom koja je inače STRAŠNO komplikovana i obimna, plus što ti imaš prilično velike zahteve, pa nećeš više da se cimaš... Pa nije to izbor košulje za izlazak u grad pa kao MS SQL express ti je legao pa nećeš da gledaš dalje... Svašta.

Za to što hoćeš da radiš ima dosta različitih rešenja, masa njih je i open-source, ali od tvojih zahteva zavisi koja kombinacija je optimalna. Da li ti 20-og u mesecu treba svaka sekunda iz 5-og tog meseca? A iz 5-og prethodnog meseca? Da li imaš izmenu podataka ili samo upisivanje i čitanje? Da li agregiraš podatke nekako? Da li se čita mnogo ili malo? Sa uvek istim ili različitim upitima? Itd itd.

Ne znam koja je tvoja osnovna struka (elektronika?), ali ako i njoj pristupaš na isti način kao i bazama podataka, teško mušterijama...

Re: Baza podataka za logovanje merenja 13.03.2014. u 18:08 · pre 153 meseca #23

Citat:

indicator1:

Citat:

brzak: Sta je ta zadnja kolona koja je index? Mozda si hteo da indeksiras po vremenu da bi brze nasao slog CREATE INDEX idxVreme ON MyTable (Vreme); Ali tu si na knap sa 10 GB, nije bas sa tim se kockati.

Upravo to, nisam istestirao ali je to bila ideja.

Indeksi isto zauzimaju mesto i racunaju se u tih 10GB, pa povedi racuna o tome. Kreiranje indeksa nad tabelom koja zauzima 8GB lako moze da predje 2GB.
To sa smestanjem merenja u kolone je ok pod jednim uslovom - da ce uvek biti tih istih 50 inace ces se zapetljati u 'ALTER TABLE... ADD COLUMN...'
Ne radim sa SQL serverom ali koliko vidim restore bekapa u neki drugi database name ide otprilike ovako:

RESTORE DATABASE nova_baza FROM DISK = 'C:\Backup\baza.bak'
WITH
MOVE 'bazatemp' TO 'C:\Program Files\Microsoft SQL Server\MSSQL.1\MSSQL\DATA\nova_baza .mdf',
MOVE 'bazatemp_log' TO 'C:\Program Files\Microsoft SQL Server\MSSQL.1\MSSQL\DATA\nova_baza _log.ldf'

tako nekako
Ti to mozes ra resis aplikativno da kupis podatke iz restore bekapa, ali sta ce tvoj korisnik koji hoce da pise upite, da li on zna da izvede ovako nesto?

Re: Baza podataka za logovanje merenja 13.03.2014. u 18:16 · pre 153 meseca #24

Citat:

vjamovic:Relativno brzo možeš da doradiš tvoj program koji je pravio binarne fajlove sa podacima da pravi txt fajlove u formaty SQL upita za ubacivanje u bazu, a onda iz nekog alata ili čak command promta batcha ručno ili iz task shedulara aktiviraš update baze

Pa ne mora čak ni da pravi SQL fajlove - može da napravi skripticu koja će te binarne fajlove da parsira i upumpava u bazu, bilo to SQL ili noSQL baza.

Re: Baza podataka za logovanje merenja 13.03.2014. u 19:34 · pre 153 meseca #25

Citat:

jablan:

Citat:

indicator1: Vec sam potrosio par dana na upoznavanje sa SQL-om pa ne bih da menjam "u pola posla". Pomenuo sam da sam to sve ranije radio i bez baze, pa sam se borio sa tolikom kolicinom podataka. Neki sledeci put cu sigurno pogledati neke od ovih "specijalizovanih" baza, sad mora da bude besplatno i po mene jednostavno.

Jbt, potrošio si par dana na upoznavanje sa tematikom koja je inače STRAŠNO komplikovana i obimna, plus što ti imaš prilično velike zahteve, pa nećeš više da se cimaš... Pa nije to izbor košulje za izlazak u grad pa kao MS SQL express ti je legao pa nećeš da gledaš dalje... Svašta.

Za to što hoćeš da radiš ima dosta različitih rešenja, masa njih je i open-source, ali od tvojih zahteva zavisi koja kombinacija je optimalna. Da li ti 20-og u mesecu treba svaka sekunda iz 5-og tog meseca? A iz 5-og prethodnog meseca? Da li imaš izmenu podataka ili samo upisivanje i čitanje? Da li agregiraš podatke nekako? Da li se čita mnogo ili malo? Sa uvek istim ili različitim upitima? Itd itd.

Ne znam koja je tvoja osnovna struka (elektronika?), ali ako i njoj pristupaš na isti način kao i bazama podataka, teško mušterijama... ;)

Slažem se sa svime napisanim. Imam osjećaš da želiš nešto na brzinu rješiti a to nikako ne može dobro završiti. U svakom slučaju ovo ograničenje od 10GB koje spominješ če te sigurno dovući u ogromne probleme. Pogledaj Firebird kao šta sam spomenuo, open-source je i mislim da može zadovoljiti tvoje potrebe, ako veće ne želiš ozbilnije pristupiti problemu.

Potpis

F

Re: Baza podataka za logovanje merenja 13.03.2014. u 20:22 · pre 153 meseca #26

Citat:

brzak:

Citat:

indicator1:

Citat:

brzak: Sta je ta zadnja kolona koja je index? Mozda si hteo da indeksiras po vremenu da bi brze nasao slog CREATE INDEX idxVreme ON MyTable (Vreme); Ali tu si na knap sa 10 GB, nije bas sa tim se kockati.

Upravo to, nisam istestirao ali je to bila ideja.

Indeksi isto zauzimaju mesto i racunaju se u tih 10GB, pa povedi racuna o tome. Kreiranje indeksa nad tabelom koja zauzima 8GB lako moze da predje 2GB.
To sa smestanjem merenja u kolone je ok pod jednim uslovom - da ce uvek biti tih istih 50 inace ces se zapetljati u 'ALTER TABLE... ADD COLUMN...'
Ne radim sa SQL serverom ali koliko vidim restore bekapa u neki drugi database name ide otprilike ovako:

RESTORE DATABASE nova_baza FROM DISK = 'C:\Backup\baza.bak'
WITH
MOVE 'bazatemp' TO 'C:\Program Files\Microsoft SQL Server\MSSQL.1\MSSQL\DATA\nova_baza .mdf',
MOVE 'bazatemp_log' TO 'C:\Program Files\Microsoft SQL Server\MSSQL.1\MSSQL\DATA\nova_baza _log.ldf'

tako nekako
Ti to mozes ra resis aplikativno da kupis podatke iz restore bekapa, ali sta ce tvoj korisnik koji hoce da pise upite, da li on zna da izvede ovako nesto?

Hvala na korisnim sugestijama. Ostajem mi da neku od ideja realizujem pa da vidim kako ce se ponasati u realnom radu. Ako u medjuvremenu nesto pametno saznam ili zakljucim, napisacu.

Forum kao aplikacija na telefonu

Srodne teme