spor upis u bazu

Cao svima,

radim na jednom projektu i sada prilikom registracije korisnika moram da izgenerisem jos neke podatke i sve to dovodi do upisa oko 1.5K redova u bazu.
Kroz PHP generisem sve podatke i sve to jedno po jedno upisujem u par tabela.
Ono sto je problem je spor upis svih tih podataka ali samo na serveru koji sam za potrebe projekta i trenutnog developmenta zakupio kod digitalocean.com.
OS je Ubuntu 12.4 a
root@peca:~# mysql -V
mysql Ver 14.14 Distrib 5.5.38, for debian-linux-gnu (x86_64) using readline 6.3

Kod mene na win7 i xampp-u sve to traje oko 10s (na defaultnim podesavanjima) i nemam problema sa tim, sasvim je prihvatljivo.
Medjutim na serveru skoro traje skoro 2 minuta!

Zbog prirode projekta ne smem da dajem db structure pa se unapred izvinjavam na tome, ali zaista stvarno ne smem i nadam se da me razumete.

Ovo je server:
512 MB / 1 CPU
20 GB SSD Disk
1000 GB Transfer

Cela app odlicno radi na ovoj masini osim ove regsitracije koja traje veoma sporo.
Podigao sam LAMP na serveru, podesio php i apache i jos neke trivijalne stvarcice ali je mysql ostao na defaultnim podesavanjima.
Engine je myisam ali samo za sada pa cu to vec prebaciti na na innodb.

Jos je cudno sto samo registracija traje ovako dugo dok imam jos neke cronove koji su i tezi za izvrsavanje pa sve to ne traje duze od 15s.

Mislim da je nesto do podesavanja mysql-a na serveru jer na win-u sve to radi jedno 10x brze a komp je katastrofa.

Kako da konfigurisem mysql, sta da monitoringujem i kako da nadjem bottleneck?

P.S.
Srecna Nova svim clanovima ES-a i sve najbolje! :)

Ja tipujem na ram. Prebaci sve na InnoDB, buferi za MyISAM su drugaciji i malo vise per connection (vec sam i zaboravio dosta, davno nemah MyISAM). Koliki je buffer pool na tom serveru, a koliki je na masini gde sve radi "dobro"? Proveri i iostat, vidi kako ti je disk opterecen kad to radi sporo. Isprati innodb engine status, dirty pages... mozda je i veliki query cache koji se invalidira, mada opet koliki moze biti sa tako malo rama..... Koliki je uopste tablespace? Premalo je to rama i samo za bazu, a kamoli za "lamp stack". Sta uopste vrtis, koji distro i kako si stavio apache i php? Iz paketa? Koliko RAM-a trosi PHP? Da li si u swap-u?

edit: Prvo nisam primetio ovo za LAMP i za MyISAM, pa sam ispravio post - pretpostavio sam da je cista db instanca i da je innodb.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Hvala na odgovoru.
evo odgovora do kojih sam uspeo da dodjem:

distro je ubuntu 12.4

ceo LAMP je preko sudo apt-get instaliran

ne znam sta znaci biti u "swap-u"

innodb_buffer_pool_size | 134217728

evo ga iostat


ram i cpu preko top komande dok traje registracija:


Isprati innodb engine status, dirty pages.
jel moze neki example kak?o?

slazem se da je slaba masina ali mislim da je za development ok a svakako se nisam nadao da ce ovoliko sporo da traje

mysql cpu time "11:52.67" je mnooogo veliko, u odnosu na php "0:03.37". Da nemas u pozadini neki "zakucan" upit koji ti lockuje bazu ?

Probaj se spojiti na mysql (putem mysql klijenta ili nekog gui-a, kao root) i ukucaj komandu: SHOW FULL PROCESSLIST;

Tako ces vidjeti da li ti neki upit drzi zakucanu bazu.

proveris, kao sto ti je rekao @farmaceut da li postoje jos neki upiti koji se izvrsavaju.
Cesto sam imao prilike da debagujem nesto sto nije problem, vec druge skripte koje generisu veliki load.

zatim, ides od jednog do drugog upita i meris vreme izvrsenje, sa Explain proveris da li se koriste ispravni indeksi. Ukoliko je baza velika, a indeksi neispravni eto ti dugog upisa.

Potpis

Moj Veb Sajt HostCentar Blog
Aleksinac Južna Srbija TimeOut

@svepomalo: InnoDB buffer od 128MB je jos i OK, ajde ti sve to lepo u InnoDB prvo, pa ces onda dalje lakse. To ti, mozda, usput resi i probleme sa lokovanjem - InnoDB upiti lokuju celu tabelu kad god nesto rade, sto moze da napravi problem.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

mislio si ovde na myisam :D

@svepomalo, upali slow query log i onda ga analiziraj, vidi sta to traje toliko i ubrzo ce ti sve biti jasno

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Mislim da sam pronasao problem a izgleda da je bio u tabeli koja ima 120K redova i odakle se vuku random podaci.
Samo mi nije jasno da mu treba 1.2s da izvuce 18 komada random iz ove tabele.

Ova tabela je staticka, tj, nece se menjati, dodao sam mu index po country jer je to where po kom vucem podatke a ako nema taj country onda vuce random sve iz cele tabele i to je trajalo 1.2s, sada traje 5x krace a po specific country 0.01s.
Moracu da nadjem neko pametnije resenje za ovaj random, odmah bi ga izbacio ali ne mogu mora da ima taj random.

Jos nesto sam primetio da je myisam brzi u mom slucaju u odnosu nad innodb, mislim na ovu tabelu, jel to ima smisla ili mi se samo cini?

Inace, ubrzao sam ceo proces registracije da traje 7 - 8s.

@bogdan.kecman
za slow query log jel je ovo ok u my.cnf?


SHOW FULL PROCESSLIST; kako ovo mogu da korsitm u realtime?
Ovo sam opalio u toku samog procesa registracije i video da je ova tabela problematicna ali kako koristiti ovo a da ne moram da jurim da je okinem dok se ne zavrsi registracija? :)

ne postoji nacin da izvuces "random" podatke brzo ... order by random je najgluplja stvar koju mozes da uradis nad velikom tabelom!!!!
ako vec hoces random is 120k tabele uradi





myisam je brzi za count(*) i brzi je za insert, za sve ostalo je uglavnom sporiji ako je masina korektno konfigurisana



da



ne kontam pitanje, to je komanda koja ti real time da podatak koji su procesi trenutno aktivni?! sta pitas?

ako te zanima u nekom periodu sta se desava imas slow-log da logujes spore, imas general query log da logujes sve upite

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Za Inno vs Isam ti se verovatno cini - ali ajde nemoj da ti se cini nista. MERI. Jako bitno. Pocni da meris. Slow query log je odlican pocetak.

Na toj masini stavi ti prvo bar long_query_time=2, ili tako nesto. Dve sekunde je dovoljno, potrebi prvo duze od toga, pa polako.

A mislim da je odgovor na pitanje "kako da vidim u real time": MySQL Workbench. Ukljucis ga, okacis se, upalis server status i stavis auto-refresh. :D To je show process list koji se sam obnavlja svako malo.

I da, ako ti je masina produkciona i ako imas iole vise upita, zaboravi general log. To je ono "handle with care", brzo se napuni disk time.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

da znam za random da je ultra spor


ovo je ok ali ja ne znam da su npr. za where country = 'rs' 18 komada redova jedan do drugog, ako nisu vratice mi neku drzavu koja npr. posle 56789 reda

uradio sam za sada ovako, random drzavu mi daje php iz niza drzava mysql-u kazem da mi da random samo za tu drzavu limit 18, sto je mislim opet brze jer ako rs ima 2300 redova onda ce random da radi iz tog opsega a ne iz svih 120k kako je bilo ranije



pa mislio sam na real time a ne da ja manuealno okidam jer ako sam dobro skontao to radi u datom trenutku a u mom slucaju sam morao da pokrenem registraciju i onda brzo da se prebacim na mysql i da okinem

@nkrgovic
za query slow log, long_query_time=2 znaci da ce da loguje sve upite koji traju duze od 2s?
trenutno mi loguje upite bez index-a a to je zbog ovog parametra: log-queries-not-using-indexes
za sada nema ni jedan upit duzi od 0.5s sto je kontam veoma dobro s obzirom na to kako je bilo :)
hvala za MySQL Workbench, probacu pa javljam

Vodi racuna da, ponekad, ima i te kako smisla nemati index za neki upit. Ako upit ide retko, a odrzavanje indexa bi bilo skupo (u smislu baza bi trosila dosta i/o-a na to), mnogo je bolje da nemas index. Nije cest slucaj, ali nije ni tako redak....

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

to sto on koristi lici na neku virtualnu masinu, merenje tu na zalost daje vrlo retardirane rezultate koje ako ne ume da procita moze da dodje do vrlo pogresnih zakljucaka




jbg a da upalis mozak? to je samo primer kako da zaobidjes order by rand, to implementiras u svoje potrebe





1. ako ti treba debug za sve upite koji se izvrsavaju tokom procedure logovanja, loguj to sa tvoje strane ili upali general query log
2. general query log moze da pise i u tabelu, takodje moze u novim verzijama mysql-a da se real time pali/gasi, dakle upalis query log uradis registraciju, ugasis query log
3. ti juris tu spore stvari gledanje u show processlist je beskorisno, show processlist je da vidis stanje na serveru (globalno) ne da debagujes php


da, sve upite koje ti loguje bez index-a a koji traju preko 0.1s i desavaju se cesce moras da opravis
racunaj da moras da pratis to neko vreme, kako se server ponasa pod opterecenjem, ne kako se ponasa kada imas jednog usera na sistemu

idi ne edelivery.oracle.com i skini mysql enterprise monitor, koristis ga za "testiranje" znaci trial (nema limite ali ako ga koristis duze onda mora ga platis), instaliraj ga u lokalu na neku ok masinu i testiraj kroz mysql koji se monitoruje mem-om, upali query analyzer etc ... sam mem mislim da ne mozes da poteras na toj patetici od vm-a ali .. snacices se vec nekako, on je koristan zato sto ti qan napise sve upite koliko traju, kojih koliko imas i slicno, pokaze ti gde ti baza trosi vreme

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

hvala na odgovorima

@bogdan.kecman
jako je tesko drzati 100% mozak upaljenim posle 3 dana rada od po 20ak sati :)

sada sam otisao na edelivery.oracle.com
sta da skinem odavde?
jel ima negde neki step to step for dummies? :)

@svepomalo, oh znam vrlo dobro kako je, samo opusteno .. jedan savet, kada udaris u zid, i tuces glavom u zid duze od 3-4h bez vidljivog pomeraja, zaustavi se, ostavi problem, idi jedi, spavaj, uvati zensku, spavaj, spavaj, jedi, wc, spavaj, zenska .. otpusti mozak sto vise .. zenska .. i onda se vrati na problem, svez, sagledaj problem ponovo od pocetka i napadni ga opet, vrlo verovatno ces ga resiti iz drugog puta .. kada se prvi put zakucas kao da busis losom buskom pa nabodes armaturu, mozes da pritiskas do prekosutra samo ce ti se rastopi burgija i crkne busilica rupu probusit neces :)

za edelivery, malo je nezgodan za navigaciju ali treba da nadjes mysql enterprise monitor

login
yes - I have reviewed, yes - I accept, continue
select product pack: mysql database
select platform: de ces ga staviti, doza, linux ... racunaj da je to velika java aplikacija sa svojim veb serverom (tomcat) i svojom bazom (mysql) nece ti raditi na puny vm-u tako da bolje da instaliras na desktop
search

i onda u listi nadjes
MySQL Enterprise Monitor Documentation 3.0.18 (English)
MySQL Enterprise Monitor Connector/PHP Plugin Pack 3.0.18 (multiple platforms) -- OVO CES DA INSTALIRAS TAMO GDE TI JE PHP APLIKACIJA
MySQL Enterprise Monitor Service Manager 3.0.18 -- OVO JE WEB SERVER I APLIKACIJA TO VRTIS NA SERVERU za MEM
MySQL Enterprise Monitor Agent 3.0.18 -- OVO CES DA VRTIS NA SERVERU GDE JE MYSQL KOJI MONITORUJES

agent + service manager mogu da budu na istoj masini naravno!

zgodno je npr da ti je service manager na jakoj masini, npr na tvom desktopu a agent i php na tvom vm-u ali da se tvoj desktop nalazi na fiksnom ip-u da mogu oni da se okace na njega i da tuku realtime data na tvoj desktop .. ako nemas staticni ip mozes da napravis vpn sa svoje desktop masine na svoj vm te tako oni kroz vpn mogu da komuniciraju ... kako da setujes vpn sa svog desktopa do svog vm-a najbolje da vidis u linux/network delu foruma to bas i nije za mysql deo :D


inace, taj VM ima bas malo rama, vrlo ti je neisplativo da mesas innodb i myisam na masini sa tako malo rama!!! vm ima svoj kesh (innodb buffer pool) dok myisam koristi disk kesh od sistema, mnogo bolje da ili koristis 100% myisam (nije preporuka) i disableujes innodb kompletno da ne trosi ram, ili koristis 100% innodb i dignes innodb buffer pool max koliko mozes.

da imas malo vise rama u toj masini mogao bi da instaliras mem tamo pa nema veze sto je sve sporo nesto bi mogao da izvedes, ovako realno nema svrhe ni da pokusavas nece nista da radi ... gde ti se fizicki nalazi taj vm? nemacka, engleska, usa?

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

razumemo se 100% :) naisao takav period, na srecu nije uvek ovako :)
kad se zakucam imam ustaljenu varijantu da odem na kafu i prepesacim par KM a kad dodjem kuci, pa to zavisi od toga kako je zenska raspolozena :)

e to mi reci za edelivery :)
sada cu da sednem i to jedno po jedno
probacu da service manager bude kod mene na desktopu a agent i php na vm-u kao sto si vec predlozio a ako base ne ide onda cu resizujem vm :)

zainatio sam se da to sve probam:)

inace vm je u datacentry koji se nalazi u amsterdamu, mislim da sam imao da biram gde cu pa sam izabrao najblizu

imam ja neki MEM instaliran kod mene u nemackoj pa ako ti ne uspe da
namontiras to kod tebe stavi samo agent na vm pa gadjaj moj service
manager (dacu ti user/pass) pa se igraj sa mog servera dok ne resis
problem ..

inace zgodno je da stavis MEM u lokal spojis sa lokalnim serverom pa dok
testiras imas full monitoring ..

takodje, nadam se da ti je taj mysql 5.6, mnogo bolje to radi nego 5.5

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

inace koliko traje trial verzija?
gledao sam licence (protrcao samo) i to je enteprise licenca koja kosta od 2 do 10 soma dolara na godisnjem nivou?
a izgleda da moze da ide i preko 50 soma :)
secam se da si pisao ovde na forumu vezano za support ali ne mogu da nadjem tu temu sada
interesuje me kod ovih enteprise licenci, jel ja dobijam i software i njihov support a u zavisnosti od paketa se dobija nesto vise nesto manje?
nije mi jasno zasto barem softwer nisu podelili pa da placamo samo za softwer na nekom nivou nego namecu i support

oracle ima foru da je SVE NEOGRANICENO .. dakle ti na e-delivery mozes
da skines sve sto oracle traje i to je nelimitirano, ono sto te limitira
je tamo pise da ti to ne smes da koristis ako zelis da koristis mora
platis ... tako da ti skines oracle db i on je fully functional bez
ikakvog limita .. pa ti ako imas m00da da koristis ti koristi a ako te
navataju oraklovi advokati ima i unuci tvoji da placaju penale ...

inace MEM (mysql enterprise monitor) ne moze da se kupi uopste. on se
dobija kao value added dzaba uz support pretplatu, support pretplata
"standard" kosta 2000$ godisnje po serveru, a "enterprise" kosta 5000$
po serveru a za klaster (to je ono sto ja radim) kosta od 10000$ po
serveru (klaster ne radi sa jednim serverom, realno ti terba bar 4 tako
da je realno on od 40000$ do koliko oces godisnje). server je masina sa
do 4 soketa (svaki soket moze da ima 1 cpu sa koliko oces jezgara), za
servere od 5 i vise soketa su vece cene.

razlika izmedju standard i enterprise je sto uz enterprise dobijes value
added vise stvari, dobijes mysql fabric, dobijes partitioning, dobijes
utilities, dobijes MEM, MEB, auth plagin, encryption plugin, audit
plugin, thread pool i bem li ga dal dobijes jos nesto ... svi ti value
added plagini/programi su closed source.

znaci ne kupujes ti licencu!!!! ti kupujes support subscription i ovo
dobijes uz to kao value added. ti i dalje ne mozes da prodajes MySQL ..
to je dakle da ga koristis za sebe .. a ako hoces da ga prodajes, onda
ti trebaju licence i to se naplacuje "koliko ti naplate" za to ne
postoji cenovnik to je ono, sta prodajes, koliko to kosta, koliko komada
prodajes godisnje etc etc .. pa se tamo sa saletom dogovoris koliko ce
to da te kosta po prodatom primerku

> pa da placamo samo za softwer na nekom nivou nego namecu i support

software je DZABA, support je ono sto se placa, kako da ti naplati mysql
kad je dzaba skines ga sa neta i koristis, imas i sors..

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

sada mi je jasnije
npr. ako uzmem enterprise i imam jedan server to je onda 5 soma?
ali ako imam replikaciju master/slave, npr. jedan master i 5 read replikacija to je onda 6 komada i to kosta 30 soma?

sto se tice clustera, jel su to one hp-ove lude masine sa po 100 komada cpu-ova? npr. tu mozes da kazes ako je billing time daj mi 80% resursa? jel sam lupio? :)

takodje se secam da si spominjao da support moze da ti radi optmizaciju upita, savetuje oko db structure-a itd.?
ako je tako koliko ja njih mogu da cimam? i da li mogu ako nesto ne radi kako treba da urlam na njih? :) :)

sta se desava sa sa AWs-om, ako ja uzmem mysql sa Multi-AZ? kako se tu gleda support? ovo je trenutna opcija za production, za pocetak sa signle instance a posle ako se stvar razvija isao bih sa Multi-AZ

otisli smo od teme malo ali pitam jer ako krenu da kaplju parice :)
onda stvarno nije problem platiti support, jer realno gledano jeftinije je nego zaposliti db admina in house full time ;)