mysql procesi divljaju

Imamo neki Magento shop, na nekom dedicated serveru.
Oduvek nam pravi problem sa vise stvari, izmedju ostalog sa sesijama koje pretrpavaju folder do nekih silnih gigabajta...

No, i na ovom i na proslom serveru, neki mysql procesi uzimaju dosta resursa.
Najproblematicniji je ovaj prvi koji je podignut dok god ne resetujemo ponovo server. A neko mi rece, da mysql procesi ne treba da traju duze od par minuta.

Kako da saznam zasto se to desava, sta je problem?
Koji su koraci?

Pogledaj sa mysqladmin ili mytop sta ti opterecuje server.

Taj neko te slagao - ili nije znao :) . Pazi ovo:



I radi sjajno. U sustini:

- show processlist;

- pa pogledaj ima li slow query-ja

- pa razmisli da ukljucis query cache, ako se mali broj upita ponavlja cesto

- Generalno proveri execution plan za teze upite, plus proveri sta imas od indexa

- Vidi imas li dosta insert/update/delete upita ili dosta selectova. Ako je ovo prvo, proveri opterecenje diska

Ima dosta toga, ovo nije los pocetak.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

TIME+ u top/htop ne prikazuje vreme od kad je proces startovan, već vreme koje je procesor potrosio na izvršavanje task-ova. Vreme startovanja procesa možeš da vidiš ili kroz ili
Koliko često viđaš da neki proces uđe u D stanje, i koliko ostaju u tom stanju? Moguće da ti disk problem. Proveri iotop.
Takođe, pogledaj mysql-tuner, možda ti pomogne da identifikujes koji parametri u MySQL konfiguraciji nisu dobro konfigurisani.

Potpis

Underground will live forever baby. We just like roaches. Never dying always living.

Tako je, pricamo o utrosenom CPU vremenu. To vreme zavisi od broja konekcija, kolicine upita i uptime-a. Moj primer je za server koji radi godinu dana (od update-a), i koji ima average preko 2000 query/s (u peak vremenu ide preko 6000qps). Nije nista cudno da server trosi dosta cpu vremena, generalno je direktno proporcionalno opterecenje.

Disk I/O je nesto sto i ja mislim da treba da se proveri. Druga stvar su indexi, mozda neki fali, a mozda je i neki viska, pa se ne koristi a jede iops-e.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Pogledah sa mytop tu bazu za koju sam mislio da je problematicna, i ne deluje mi bas tako.
To je shop, koji trenutno i ne funkcionise. Odnosno trenutno nije moguca kupovina, nego samo pregled artikala.
Server nije bas slabasan, da bi se memorija onako punila brzo, i da CPU ima onakve pikove? A vrti samo jedan magento shop, jedan opencart, i 2 WP sajta. Pored toga ima i par dev WP sajtova koji su trenutno u izradi, ali niko im od spolja ne pristupa.

Evo kako izgleda mytop


Ove komande, da vidim processlist, nesto mi ne polazi sa rukom. Guglam da vidim na debianu kako da ih izvrsim... pa cu javiti rezultate


@Nikola, nemam bas nekog iskustva, ali ok su smernice, pa sad upravo guglam da vidim kako da uradim sve to sto si rekao :)


Sto se tice HDD sa smartmontools sam smao pogledao SMART status i "Passed" je. Sad sam pustio long scan na sda, nego traje par sati, pa cu i na sdb, da vidim da li ima nekih gresaka...

@Duka_, instalirao sam mysql tunner, evo SS, cisto ako mozes da pretpostavis sta od ovih upozorenja je kriticno. A usput cu i ja malo da citam, pa da pokusam da resim.

Ne mogu da odradim većinu ovih komandi koje ste mi savetovali, i koje sam dodatno još našao po netu, jer ne mogu da se ulogujem na mysql kao root, non stop dobijam poruku



Ispratio sam više uputstva, a sa ovim sam "najdalje" dogurao, ali na zalost na kraju ovog uputstva kad uradim


dobijem poruku 0 rows affected i isto za matched i chanched.
Naravno, kad startujem ponovo mysqlu, ne mogu i dalje da se ulogujem kao root.


Nesto razmisljam o tome gde gresim, i tek sada mi pada na pamet, da je ovo komanda za update vec postojeceg passworda koji postoji na root?
Doduse pokusao sam i sa



I nisam uspeo :)

Pozdrav,

CoyoteKG@ Iz ovoga sto si napisao ja bih rekao da ti mislis da imas problem zato sto ti je neko rekao da mysql procesi ne treba da traju vise od par minuta? Molim te ispravi me ako gresim.

U ovom sto si poslao imas mysql process u D stateu sto znaci da ceka na I/O ali to ne mora da znaci da problem postoji. Ako se to cesto desava onda nemas dovoljno jak server, tacnije disk ne moze da opsluzi toliki broj IOPS-a. Nema potrebe da pustas nikakve provere sa smartmontools osim ako ne sumnjas da je neispravan.

1. Sto se tice mysql root passworda, ako ga nemas onda sigurno ne moze setovati novi root password kao obican (non-root) user. Jedini nacin da to uradis je da stopiras i startujes mysql bez grant tabela i onda resetujes root password.

https://www.howtoforge.com/set...resetting-mysql-root-passwords

2. Mozes da objasnis koji je tacno problem? Kako se manifesuje? Kada si poceo da primecujes problem?
3. Da li si nesto radio na OS-u ili samoj bazi pre nego sto je pocelo sve to da se desava? Zasto mislis da problem postoji?

4. Pokreni ove komande i prikazi output u plain text formatu ako moze.

free -m
cat /proc/cpuinfo
vmstat 1 15
ps auxww --sort=pcpu
iostat 10
iotop -o -b -n 20 > iotop.txt

Ako imas instaliran sar, molim te dumpuj metriku u fajli i attachuj je ovde.
LC_ALL=C sar -A > sar.txt

Ako sredis password onda obavezno uradi ovo sto su rekli Panta, Duka i Nikola. Jako je bitno da znas sta mysql radi a to bez mysqladmin processlist neces moci da znas.

Pozdrav.

Miroslave, hvala na odgovoru.

Nisam nasao vremena da podesim root password i pokrenem ove komande, javljam se sa vise detalja sto skorije.

Sto se tice prvog dela pitanja,

Server bi trebalo da je jak
U pitanju je ovaj server
https://www.hetzner.de/at/hosting/produkte_rootserver/px91

U pravu si, moje misljenje "da nesto nije u redu" se zasniva na koleginom komentaru da mysql procesi ne treba da traju duze od par minuta (i sada shvatam da gresi), ali i da procesor na serveru ne treba da bude toliko opterecen, kao sto se vidi na screenshot-u u prvom postu.
Evo sada je ovako. Doduse ovo uhvatim kad bas skoci, ali se menja iz sekunda u sekund.


Nejasno mi je da se ovakav procesor toliko "muci", a gura samo 2 sajta. Jedan Magento i jedan Opencart. Pri tom nema bas kupovine, vise je surfovanje i pregledanje proizvoda.

Pokusacu sada da resim root password, pa se javljam sa vise detalja.


edit:
I prosli put ovi problemi kod menjanja password-a... :)
Za razkliku od svakog tutoriala, dobijem poruku "Rows matched: 0", a svima pise 2 ili 4. Tako da ne promenim nista, i eto, ne mogu da se ulogujem kao root.


_{[Ovu poruku je menjao CoyoteKG dana 28.12.2015. u 18:03 GMT+1]}

Caos,

Sto se tice mysql passworda, mozda nemas root usera na sistemu?

mysql> select Host,User,Password from mysql.user;

Proveri prvo to pa onda menjaj password za tog usera.

Mozes dodatno da dodas novog usera dok je mysql startovan bez grant tabela pa da koristis njega za administraciju.

https://www.digitalocean.com/c...and-grant-permissions-in-mysql

Sto se tice procesora i tvog problema, ja ne vidim nikakav problem sa tvojim sistemom. Load average od 2.X nije nista, a uzork je mysql koji nesto radi.

Proveri disk kao sto sam ti rekao i pogledaj sta mysql zapravo radi.

Mozes da proveris i soft raid, mozda se rebuilduje ili je jedan disk vrisnuo. Ovo je malo verovatno ali mozes da proveris.

cat /proc/mdstat

Najbolje da instaliras neki monitoring alat da bi mogao da vidis sta je mysql radio u toku dana i kada je opterecenje bilo najvece. Mozda imas neki cron ili nesto skedulovano u bazi ili je baza "lose" dizajnirana itd itd..

https://www.digitalocean.com/c...p-to-monitor-mysql-performance

Pozdrav

Napravio sam malu gresku u prethodnoj poruci. Ako hoces da kreiras novog usera dok je mysql pokrenut sa --skip-grant-tables moras rucno da uradis INSERT u bazu i tako dodas usera.

http://serverfault.com/questio...-mysql-users-have-admin-rights

Pozdrav

Jos nesto sto sam zaboravio a to je slow query log. Ovde mozes pogledati kako da ga ukljucis i kako da ga koristis.

https://easyengine.io/tutorials/mysql/slow-query-log/

Slow query log i iostat su dve stvari koje ja napisah gore, i koje su po meni dobar pocetak. :) Posle ides na kopanje po information schema-i za probleme sa indexima i/ili analizu execution plana za te upite. :) To je neki standardni nacin mysql optimizacije, pod pretpostavkom da si osnovne stvari (kernel tuning, numa affinity, innodb buffer sizing i sl) odradio kako treba.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Jesi. Ja sam samo hteo da dam i neki useful link da covek moze lakse da se snadje :-)

hvala svima, uspeo sam da kreiram root account, ali ne sa tog linka, nego sa nekog drugog, odnosno kombinacijama razlicitih tutorijala :). Poceo da pisem post sa komandama ovde, ali izgleda nisam zavrsio posto ne vidim da sam napisao :/.

Nego me uhvatise sa nekim poslovima pa nikako da se vratim na ovaj problem.

sad mi rade mysqladmin komande.
Sutra idem na odmor, pa ću u selu da odmaram i trazim probleme pomocu vasih uputstava...

Sto se tice same optimizacije, iskusniji kolega mi kaze, da je baza kao baza sigurno dobra, jer je to magento baza, i da tu "nema sta da se optimizuje" :)