Greska prilikom citanja

Pozdrav,

Napravio sam aplikaciju u VS2008 C# koja se konektuje na MySQL bazu i vrsi periodicno na svakih 5 minuta oko 1000 upisa i citanja.
Taj softver sam ostavio da radi jedno 4-5 dana i on je radio odlicno do sinoc. Jutros me je docekala sledeca greska:



Da li je ovo greska u MySQLu, ili mozda ja nisam najbolje podesio parametre?
Da li sam trebao konstantno da proveravam da li imam konekciju sa bazom?

PS. Neverujem da je do konekcije softvera sa bazom, posto ni MySQL Command Line Client nije uspeo da se konektuje na bazu, tj. gasio bi se nakon sto ukucam sifru.
Znaci sve se ponasa kao da je MySQL server pao.

I jos Da li je to mozda problem u windowsu? Trebam li tu uraditi neka podesavanja?

Nemam pojma, resetovao sam kompijuter i sad je sve normalno ali pitanja i dalje ostaju.
Moze li neko da mi pomogne?

Potpis

---------------------
****
< 9 9 > My name
..( o ).. is
. . -- . .MX86251 ?

E skontao sam resenje. Izgleda da 5 minuta vise nije dovoljno da se iscitaju i upisu svi potrebni podaci. Softverski cu to srediti koriscenjem INSERT komande i zadavanjem vise vrednosti.

Ono sto me jos interesuje je kako ce se baza ponasati sa 9M unosa, sto mi je i cilj? Trenutno imam oko 350K u jednoj tabeli + jos jedna tabela sa 300 unosa.

Potpis

---------------------
****
< 9 9 > My name
..( o ).. is
. . -- . .MX86251 ?

ponasace se shodno sa nacinom unosa, tipom storage engine-a i vrstom hardware-a na kom budes terao mysql ... i naravno, shodno tome kako si isti konfigurisao :)

pogledaj http://www.elitesecurity.org/t355539-Brzina-INSERT-komande ... tu imas neke bitne informacije vezano za upis ... ako hoces da postignes brzinu, moras da radis bulk upis a ne jedan po jedan, ako trosis innodb smesti sve u jednu transakciju (ili nekoliko njih) a nikako "jedan insert jedna transakctija" sto je default u tom dot nemoj....

sto se tice greske koju ti je javio taj dot nemoj konektor - pukla ti je veza sa mysql-om .. iz kog god razloga... timeout, puko server, puko link ...

inace, ako vec trosis dot nemoj, obavezno uvek koristi najnoviji dot nemoj konektor posto mu cika Tonci redovno ali sigurno ispravlja greske i dodaje nove opcije :)

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

@bogdan.kecman:

Iz tvoga posta, a pogotovo iz linka koji si dao, vidi se da nikako ne volis .NET (sam si napisao "gadjenje je blaga rijec")? Da je netko drugi napisao, nikakve veze ne bi bilo, ali eto iz respekta opisa tvoga posla takva recenica mi je malo previse neozbiljna :)) Hajde prosvijetli nas malo ...

Potpis

My programs don’t have bugs, they just develop random features.

ne volim ja ni visoke zene, blajhane zene, narodnjake, tehno .. ne volim ni patlidzan, boraniju, kelj, karfiol .. (od vecine tih stvari mi se povraca) .. sladoled od cokolade ..

apsoutno personalna stvar .. dakle, nema nikakve veze sa firmom u kojoj radim, poslom koji radim, (mysql podrzava dot nemoj, pravi dot nemoj konektor, napisali su workbench - odlican alat u dot nemoj ..) .. dakle to je moj licni stav koji nema nikakve veze sa mysql-om, sun-om .... na zalost znam c# (nisam trosio vb, asp i ostale dot nemoj kombinacije), odradih nekoliko velikih projekata u istom ... tako da ne pricam napamet ... ali se trudim da to iskustvo ostavim iza sebe :)

da ne budem pogresno svacen, ne mislim da bilo ko ko pise u dot nemoj tehnologiji manje vredi od nekoga ko koristi bilo koju drugu tehnologiju, da neko ko pise u c# manje zna ili vredi od nekoga ko cuka asm ili c ili c++ .. niti imam bilo kakve argumente da bilo kome kazem da ne koristi dot nemoj ... (niti ikad zelim ikome da kazem da ne koristi dot nemoj) ... ja ga licno i personalno ne volim iz privatnih razloga, stvari koje su se meni licno desavale u relaciji sa istim i mom licnom odnosu prema tom konceptu ...

tako da .. moja izjava "ja ga ne volim" je u informativnom svetlu vezano za dalji tekst gde se ogradjujem od toga "kako se nesto radi koristeci doticnu tehnologiju" i posebno "doticni konektor" (koji pravi moj dragi i postovani kolega i prijatelj)....

dakle .. JA ga ne volim ... to nista ne govori o tom proizvodu/tehnologiji

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Da, ubacio sam bulk insert.
Sta predstavlja tip storage engine-a?
Konfiguracija je relativno slaba, Pentium 1 GHz sa 1GB RAMa, ali ni baza nije puno jaca. Imam dve tabele od kojih se samo jedna dopunjava i to sa: IDUredjaja, Energija, DatumVreme i Status. Da li bi tu moglo da se ostvari 9 miliona unosa?
Vizuelni deo mi nije ni potreban tako da ce VS aplikacija biti Windows service

Potpis

---------------------
****
< 9 9 > My name
..( o ).. is
. . -- . .MX86251 ?

http://dev.mysql.com/doc/refman/5.1/en/storage-engines.html
MySQL ima razlicite storage engine ... na primer ako koristis MyISAM storage engine, on je za neke stvari mnogo brzi od innodb-a (na primer za taj insert koji tebi treba), podrzava full text support ali na primer ne podrzava transakcije, strane kljuceve i slicno.. Podrzava samo table lock ... InnoDB na primer ima podrsku za transakcije, page level locking, row level locking, strane kljuceve, ali je sporiji od MyISAM-a za neke stvari, ne podrzava full text search i slicno...



moze i 9999999999 miliona unosa .. pitanje je u kom vremenu :) ... 9M unosa u sekundi mozes da zaboravis na toj masini ... 9M unosa u minuti .. verovatno isto mozes da zaboravis (nesecam se koliko je spor i kakav je taj pentium) .. doduse, za INSERT ti je mnooogo bitniji disk IO nego CPU ...

sta ti je tacan zahtev .. neka kolicina upita u minuti ili to da u tabelu moze da stane 9000000 slogova ili da kada radis bulk insert od 9M slogova to traje sto krace?

Najbrzi insert ces da dobijes tako sto uradis sve navedeno:
- koristis MyISAM storage engine za tabele
- napravis tabele da budu konstantne sirine (dakle ne koristis varchar nego char)
- radis bulk insert
- pre inserta uradis "disable key"
- posle inserta uradis "enable key"

- razdvojis indexe i podatke na posebne diskove u masini http://dev.mysql.com/doc/refman/5.1/en/create-table.html

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

@bogdan.kecman

Pravo na licni stav svi imamo, i to je sasvim ok...

P.S. PM mogu poslati tek 7 dana nakon reg, odgovoricu cim mognem :)

Pozdrav!

Potpis

My programs don’t have bugs, they just develop random features.

Tacan zahtev mi je da na 15 minuta zapisem energije sa oko 250-300 uredjaja i da cuvam u bazi koliko mi to hardver dozvoljava.
Ideja mi je da napravim tabelu u kojoj ce biti zapisane energije za period od godinu dana sto otprilike dovodi do racunice od 9M unosa (1 dan ima 96 * 15min, 1 god = 96*365 unosa, sto za 250 uredjaja daje 250*96*365=9M upisa).

Znaci ne 9M u minuti nego 300 u 2 minute :)...

Mozda je jedno od resenja da svaki mesec napravim novu tabelu?

E i hvala ti na dosadasnjoj pomoci!

Potpis

---------------------
****
< 9 9 > My name
..( o ).. is
. . -- . .MX86251 ?

super zahtev ... ovako .. to sto ti pravis je takozvani "logger" ... ti insertujes podatke, retko ih citas a nikad menjas. podaci su ti jednostavni (nekoliko integera i nekoliko realnih brojeva i to je to) tako da ti tabela vec ima "fiksnu sirinu".

imas 2 principa.

1. radi na svim mysql verzijama, isprobano dobar

- koristis MyISAM storage engine za tabele
- na kraju meseca odradis kreiranje nove tabele like sada, rename sada u bekap i nova u sada i onda staru tabelu (bekap) alter table backup engine=archive (prebacis tu staru tabelu u storage engine koji se zove archive). Archive storage engine je read only, i podatke cuva "kompresovano" tako da zauzimaju malo mesta na disku (spomenuo si da ti je masina matora). eventualno pobrises tabele starije od xyz meseci (zavisi koliko dugo oces da cuvas podatke).


2. radi samo na 5.1 i nije bas 100% safe posto je partitioning i dalje nedovoljno istestiran ali ocekujem da ce uskoro biti "stabilan" posto ga vec dosta ljudi koristi, developeri prilicno brzo ispravljaju bagove a broj novih bagova je sve manji i manji ...

sve u svemu, koristis partitioning. http://dev.mysql.com/doc/refman/5.1/en/partitioning.html
to ti omogucuje da tabelu "particionises" po nekom osnovu ... u tvom slucaju, particionises tabelu po datumu, tj jedan mesec jedna particija ... nemas nikakva smaranja sa rucnim mrdanjem podataka, renameom etc, svi podaci su u jednoj tabeli a opet - particionisani na nacin koji ti zelis:






nadam se da je jasno ...

naravno, sve ono sto sam rekao o brzini inserta vazi i dalje ...

- myisam tabela (posebno na toj bajatoj masini)
- ako mozes da stavis vise diskova razdvoji na razlicite diskove indexe i podatke (beskorisno je da stavljas na razlicite particije istog diska tako da to nemoj da radis)
- radi bulk insert
- pre inserta uradi "alter table t1 disable keys", posle inserta (cele grupe) uradi "alter table t1 enable keys;"
- ako je to sve cemu ce mysql da sluzi, startuj mysql bez podrske za innodb (kako isti ne koristis)
- podesi ostale parametre mysql-a prema kolicine memorije (sort buffer size i slicno)

to mu dodje to .. malo se igraj sa podesavanjima ... kako radis iz samo jednog thread-a jednostavne inserte .. trebalo bi da to myisam "pojede" .. ako ti nije potreban iskljuci binlog.... setuj dovoljno veliki broj file handles ako si na unix-u, ako si na windozi obrati paznju da imas hard limit koji ne mozes da zaobidjes na 2048 open files (to je tek u 6.0 zaobidjeno koristenjem winapi funkcija za rad sa fajlovima, windoze ima hard limit na 2048 open files za posix funkcije)... ako si na linux-u postavi swappiness na 0, ako si na windozi - to ti je sto ti je :) ne mozes mnogo toga da mu kazes ...

generalno bi trebalo da imas 10% bolje performanse sa linuxom na istom hardware-u, ali postoji mogucnost (imali skoro klijenta, izgubio sam pola cuke da nadjem problem :( ) da linux ima lose drajvere za tvoj hdd kontroler (tj losiji od windoze) tako da je u tom slucaju windoze "brzi"....

osnovni bottleneck ovde ti je IO .. dakle cpu tu nista ne radi .. koliko brzo moze disk da primi podatke, toliko ces brzo moci da insertujes nove podatke ... nema velike filozofije .. cela fora je povecatio IO troughput tako da
- ako moze hardware raid - stripe ce ubrzati io
- podeliti data i indexe na razlicite diskove - to ce ubrzati io

to ti je sto ti je ..

neki "los" benchmark kaze da moja masina (desktop) uradi 100K inserta (u int, int, int tabelu) za 0.07s ... to mu dodje 1.4M inserta u sekundi (neki 1T sata diskovi u software mirror-u dakle sporija varijanta) za single thread ...

ako ti se aplikacija i server nalaze na istoj masini, zaobidji tcp i teraj socket na linuxu ili named pipe na windozi izmedju klijenta i servera ... smanjices opterecenje sistema / io

to mu dodje to .. ako imas jos nekih pitanja vezano za detalje, samo pucaj


@Sapphire, znam za jadac :) .. inace, drago mi je da si to primetio, te da je jasno da je to privatni stav, ne zelim nikakvu prepisku o sta je bolje i to .. windoze, unix, dot ovaj, one onaj i to .. sve to ima svoje i sve se uglavnom svede na amiga vs pc

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

da, jedna sitnica ... ona ideja sa novom tabelom i rotacijom je cisto ideja, mysql nema problem da tera tabele velike par terabajta .. obrati paznju samo da tu imas limit file systema .. myisam tabela je "fajl na disku" razliciti filesystemi imaju razlicite limite, fat32 ima 2G limit na primer tako da na fat32 ne mozes da imas vecu tabelu od 2G ... isto tako stari kerneli za linux su ext limitirali na 2G, tako da ako teras windoze - ntfs, ako teras linux, ili noviji kernel ili reiserfs i nemas problem

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Pošto je u pitanju malo stariji kompujuter a imaš 2 hard diska, i to nisu SATA nego IDE diskovi, onda ih stavi na posebne grane (primary/secondary). Ali 300 upisa za 2 minuta sa malom širinom reda uopšte ne bi trebao da je problem, ako su sva podešavanja ok.

Nego Bogdane, da li mora broj particija da bude definisan unapred?
I da li može ovako

PARTITION BY HASH( CONCATENATE( YEAR(hired), MONTH(hired) ) )

Potpis

"Common sense is not so common." - Voltaire

mora ... tj ne mora ali ako ne navedes default je 1

http://dev.mysql.com/doc/refman/5.1/en/partitioning-hash.html


inace, ti mozes da radis "reparticionisanje" kasnije, dakle mozes posle godinu dana da promenis broj particija ... to zahteva poprilican posao na strani servera, kompletan rebuild tabele .. ali je moguce

takodje, obrati paznju da je sam partitioning engine stabilan ali da je "partition maintenance" i dalje beta ... dakle, management particija (reparticionisanje, rebildovanje, cekiranje i slicno nad jednom particijom) je i dalje beta .. sve je to zato sto i dalje ima jako malo partitioninga u production sistemima, ja znam za samo desetak production sistema koji trose partitioning nad relativno malim tabelama (20tak giga tabele) tako da dok broj korisnika ne poraste i ne prodje malo vremena ne mogu da kazem da je to dovoljno istestirano resenje...

EDIT: a inace moze da se koristi concatenate ... dakle za taj deo pitanja je odgovor DA

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Hvala na odgovorima!

Izabrao sam prvu varijantu posto mi je pouzdanost najvaznija, i ekstra je jednostavno. Za Myisampack nisam cuo ranije, ali ije stvarno odlicno resenje za ove moje potrebe. Pretpostavljam da scheduler treba sam da napravim u aplikaciji?
Aplikacija ce se nalaziti na istoj masini gde i baza. Nije to stara masina, nego neka varijanta industrijskog PCa. Potpuno nov :), bez kulera i tako to. Softver ce imati rs232 komunikaciju, kao i tcp/ip komunikaciju. Nadam se da se to nece previse odraziti na rad mysql-a, i da mesec dana zapisa po tabeli nece biti problem. Verujem da je Linux bolja varijanta, ali za mene potpuno nepoznata oblast. Cini mi se da CPU dosta radi, ali valjda to dolazi u paketu sa .net okruzenjem.
Kako named pipe na windozi smanjuje opterecenje?

Potpis

---------------------
****
< 9 9 > My name
..( o ).. is
. . -- . .MX86251 ?

zato sam i naglasio "gotovost" partitioninga u mysql 5.1 .. za razliku od nasih marketing ljudi, mene placaju da pricam istinu :)



extra stvar za logove :)
ja sam do sada uvek radio tu "rotate" pricu sam izvana u shell-u (iz cron-a) ali teoretski postoji mogucnost da to odradis uz pomoc schedulera unutar samog mysql-a (nisam bas mnogo razmisljao o tome :) )
obrati paznju na korisnost:




cpu ti jedu windoze i dot nemoj .. tu ti nema pomoci, a prelazak na linux ti nece odraditi posao ako ti je aplikacija u dot nemoj osim ako neces da testiras to sa mono-om ...
obrati paznju da industrijske masine imaju mnoooogo sporiji IO od normalnih masina (posto im je retko potreban veliki IO)
ja mogu da ti kazem da recimo alix2c3 (nema vga kartu uopste, samo seriski port tako da ne mozes da teras windoze, samo linux) meni tera linux + mysql i roka oko 1G dnevno inserta na CF karticu bez problema ..


isto kao socket na unix-u .. ne kontam pitanje? ako pitas kako se sa dot nemoj konektorom konektuje na server preko named pipe umesto preko tcp/ip - pojma nemam, znam da konektor to podrzava ( http://www.mysql.com/products/connector/net/ ) .. kako mu se kaze verovatno ima negde u dokumentaciji ... http://dev.mysql.com/doc/refma...-examples-mysqlconnection.html kaze da za port stavis -1, za protocol stavis "pipe", u pipe stavis ime i to je valjda to ...

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

izignorisi ovaj deo sa linux i mono-om ... sve i da ti aplikacija radi 1/1 na linuxu pod mono-om, identicnu ako ne i vecu kolicinu resursa ce pojesti radece pod mono-om kao po windozama sa dot nemoj virtuelnom masinom...

ono sto mogu da "podelim" je delphi 2.0 i win3.11 :) .. to je maaaaaaaajka za rapid development za embeded masine .. na ovim novim alix plocama to radi ko blesavo :) dobijes graficku aplikaciju za 20min koja radi 1/1 :)

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/