[es] - Jednostavan zadatak veliki prblem !

zgas

Član broj: 74613
Poruke: 334
*.ptt.rs.

Sajt: odbrojavanje.com

Profil

^{13.03.2009. u 09:57 - pre 184 meseci}

Pojednostvicu problem na primeru: imam tebelu:

TABELA: 'narudzbine',

------------------------
| id_naruzbine | naziv_proizvoda | unix_narudzbine |
------------------------
| 1 | olovka | ........20 |
| 2 | gumica | ........22 |
| 3 | olovka | ........50 |
| 4 | gumica | ........52 |
------------------------

Treba mi samo poslednja narudzbina za svaki proizvod ponaosob.

Mislio sam da to mogu sa:

SELECT id_naruzbine, naziv_proizvoda, unix_narudzbine
FROM narudzbine
GROUP BY naziv_proizvoda ORDER BY unix_narudzbine DESC

ali ne vredi jer mi vrati:

------------------------
| 1 | olovka | ........20 |
| 2 | gumica | ........22 |
------------------------

a potrebno je da dobijem rezultat:

------------------------
| 3 | olovka | ........50 |
| 4 | gumica | ........52 |
------------------------

Stvarno je katastrofa da ovako jednostavan zadatak ne moze da se izvrsi jednim upitom!
Svasta sam probao i namam pojama kako ovo resiti! Molim pomoc !

_{[Ovu poruku je menjao zgas dana 13.03.2009. u 12:24 GMT+1]}

Aukcije, www.Odbrojavanje.com
Aukcija može biti osvojena jeftino - za 30 sekundi a 6 dinara!

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.xdsl.beograd.com.

Sajt: mysql.rs

+2377 Profil

Re: Jednostavan zadatak veliki prblem !

^{13.03.2009. u 11:39 - pre 184 meseci}

sta znaci "poslednji" u ovom kontekstu? onaj sa najvecim id-om ili .. posto ne vidim da imas neko polje sa datumom koje bi definisalo "vremensku odredbu sloga"

najjednostavniji upit koji je meni za ovakav model pao napamet je

Code:

mysql> create table t4 (id int, naziv char(30), kolicina int) engine=myisam;
Query OK, 0 rows affected, 2 warnings (0.04 sec)

mysql> insert into t4 values (1,'olovka', 20);
Query OK, 1 row affected (0.00 sec)

mysql> insert into t4 values (2,'gumica', 22);
Query OK, 1 row affected (0.00 sec)

mysql> insert into t4 values (3,'olovka', 50);
Query OK, 1 row affected (0.00 sec)

mysql> insert into t4 values (4,'gumica', 52);
Query OK, 1 row affected (0.00 sec)

mysql> select t4.id, t4.naziv, t4.kolicina from t4 join (select max(id) id from t4 group by naziv) x using (id);
+------+--------+----------+
| id   | naziv  | kolicina |
+------+--------+----------+
|    3 | olovka |       50 |
|    4 | gumica |       52 |
+------+--------+----------+
2 rows in set (0.00 sec)

mysql>

jesi to hteo ?

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu

bantu

Član broj: 38670
Poruke: 305
89.111.240.*

+27 Profil

Re: Jednostavan zadatak veliki prblem !

^{13.03.2009. u 11:45 - pre 184 meseci}

Mozda ovako nesto, nisam probao ali trebalo bi da radi.

Code:

select *
from narudzbine
where id_naruzbine in(
      select max(id_naruzbine)
      from narudzbine
      group by naziv_proizvoda);

Odgovor na temu

bantu

Član broj: 38670
Poruke: 305
89.111.240.*

+27 Profil

Re: Jednostavan zadatak veliki prblem !

^{13.03.2009. u 11:46 - pre 184 meseci}

Prestiže me Bogdan. :)

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.xdsl.beograd.com.

Sajt: mysql.rs

+2377 Profil

Re: Jednostavan zadatak veliki prblem !

^{13.03.2009. u 12:02 - pre 184 meseci}

bantu, odlicno resenje :)
ja se jos uvek budim ali da probam da iskoristim da napisem nesto vezano za IN ()

IN() mysql optimizer tretirao kao range query i to, x IN(a,b,c) je identicno kao x=a or x=b or x=c ... pritom, iako ga termin "rangle" query svrstava u istu kategoriju sa x > y, nije; radis se o "multiple equality" uslovu te ima mnogo vise pristupa indexu nego u slucaju > x

sta je bitno i zasto ovo pricam, u jednom upitu mysql moze koristiti SAMO JEDAN RANGE CONDITION ... dakle ako imamo

select * from t1 where a>10 and b>20 and c>30

mysql moze da koristi index ili za a ili za b ili za c .. ne moze da koristi sva 3 .. uz pomoc statistike iz tabele odlucice koji index ce da koristi .. ali ...

e sada, to ne vazi za "multiple equality" iako se m.e. zove i prijavljuje kao range tako da se cesto koristi za ubrzanje ..

nadam se da sam pojasnio .. nije bas vezano direkt za OP ali ..

p.s. ja se stvarno trudim da prevedem sve ove izraze na srpski ali ne nalazim uvek odgovarajuce izraze tako da neka purtanci oproste ... za "range" bih nekako i nasao prevod ali "multiple equality" .. mozda kada se probudim

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu

zgas

Član broj: 74613
Poruke: 334
*.ptt.rs.

Sajt: odbrojavanje.com

Profil

Re: Jednostavan zadatak veliki prblem !

^{13.03.2009. u 12:07 - pre 184 meseci}

Hvala vam na trudu. Samo:

"poslednja narudzbina" se ne odnosi na kolonu "id_narudzbine", vec na kolonu "unix_narudzbine".

Molim vas da mi pomognete da napravim upit prema ovoj koloni.

P.S.
Tabela ima nekoliko hiljada upita i trebalo bi da je upit sto brzi moguci jer se on pokrece svake sekunde.

Aukcije, www.Odbrojavanje.com
Aukcija može biti osvojena jeftino - za 30 sekundi a 6 dinara!

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.xdsl.beograd.com.

Sajt: mysql.rs

+2377 Profil

Re: Jednostavan zadatak veliki prblem !

^{13.03.2009. u 12:32 - pre 184 meseci}

pazi, ako taj upit treba da pozivas "cesto" prilicno si lose dizajnirao bazu ... sta je to unix_ polje? timestamp ili ? kakav je index nad tim poljem?

Code:

mysql> select t4.id, t4.naziv, t4.kolicina from t4, (select naziv, max(kolicina) kolicina from t4 group by naziv) x where t4.naziv = x.naziv and t4.kolicina=x.kolicina;
+------+--------+----------+
| id   | naziv  | kolicina |
+------+--------+----------+
|    3 | olovka |       50 |
|    4 | gumica |       52 |
+------+--------+----------+
2 rows in set (0.00 sec)

ovo ce da radi, tj, vratice to sto si hteo .. pitanje samo .. sta ako postoje dva sloga u t4 koji imaju isti naziv i kolicinu (ili kako se vec zove kod tebe unix_...) .. npr:

Code:

mysql> insert into t4 values (5,'gumica', 52);
Query OK, 1 row affected (0.00 sec)

mysql> select * from t4;
+------+--------+----------+
| id   | naziv  | kolicina |
+------+--------+----------+
|    1 | olovka |       20 |
|    2 | gumica |       22 |
|    3 | olovka |       50 |
|    4 | gumica |       52 |
|    5 | gumica |       52 |
+------+--------+----------+
5 rows in set (0.00 sec)

mysql> select t4.id, t4.naziv, t4.kolicina from t4, (select naziv, max(kolicina) kolicina from t4 group by naziv) x where t4.naziv = x.naziv and t4.kolicina=x.kolicina;
+------+--------+----------+
| id   | naziv  | kolicina |
+------+--------+----------+
|    3 | olovka |       50 |
|    4 | gumica |       52 |
|    5 | gumica |       52 |
+------+--------+----------+
3 rows in set (0.00 sec)
[/quote]

to mozes da "resis" sa jos jednim group by

Code:

mysql> select t4.id, t4.naziv, t4.kolicina from t4, (select naziv, max(kolicina) kolicina from t4 group by naziv) x where t4.naziv = x.naziv and t4.kolicina=x.kolicina group by t4.naziv;
+------+--------+----------+
| id   | naziv  | kolicina |
+------+--------+----------+
|    4 | gumica |       52 |
|    3 | olovka |       50 |
+------+--------+----------+
2 rows in set (0.00 sec)

i to ce da radi ... (koliko brzo - to ces morati da probas kod sebe na pravoj tabeli ... u ovom ovde slucaju su temporary tabele vrlo male i u ram-u su tako da je brzo, ali ako ti je na primer NAZIV varchar 200 i pritom UTF8 to znaci da zauzima 600 bajtova, tj. vise od 512 bajtova, sto znaci da ce temporary tabele na disk, sto opet znaci, mnooogo sporije nego da su u ram-u... tu ti onda pomaze da temp dir bacis u ram disk ...

da ne knaram ... upit nema razloga da bude nesto extra spor, ali ako ti ovakav report treba x puta u minuti, ozbiljno razmisli o redizajnu tog db modela ..

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.xdsl.beograd.com.

Sajt: mysql.rs

+2377 Profil

Re: Jednostavan zadatak veliki prblem !

^{13.03.2009. u 13:03 - pre 184 meseci}

Code:

mysql> show create table t4\G
*************************** 1. row ***************************
       Table: t4
Create Table: CREATE TABLE `t4` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `naziv` char(30) DEFAULT NULL,
  `kolicina` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=10485762 DEFAULT CHARSET=latin1
1 row in set (0.00 sec)

mysql> select count(*) from t4;
+----------+
| count(*) |
+----------+
| 10485760 |
+----------+
1 row in set (0.00 sec)

dakle, 10M slogova .. rekao bih dosta vece od tvoje tabele

Code:

mysql> select t4.id, t4.naziv, t4.kolicina from t4, (select naziv, max(kolicina) kolicina from t4 group by naziv) x where t4.naziv = x.naziv and t4.kolicina=x.kolicina group by t4.naziv;
+--------+-------+----------+
| id     | naziv | kolicina |
+--------+-------+----------+
| 649026 | mika  |   100000 |
| 375920 | pera  |   100000 |
| 577518 | zika  |   100000 |
+--------+-------+----------+
3 rows in set (7.00 sec)

ocajno sporo .. 10M slogova 7 sekundi .. mnoooooooooogo ... al to ti je sto ti je .. jos sporije sa sa inndb-om ..

Code:

mysql> alter table t4 engine=innodb;
Query OK, 10485760 rows affected, 1 warning (1 min 25.07 sec)
Records: 10485760  Duplicates: 0  Warnings: 0

mysql> select t4.id, t4.naziv, t4.kolicina from t4, (select naziv, max(kolicina) kolicina from t4 group by naziv) x where t4.naziv = x.naziv and t4.kolicina=x.kolicina group by t4.naziv;
+--------+-------+----------+
| id     | naziv | kolicina |
+--------+-------+----------+
| 649026 | mika  |   100000 |
| 375920 | pera  |   100000 |
| 577518 | zika  |   100000 |
+--------+-------+----------+
3 rows in set (10.44 sec)

malo brze ako zabodemo onaj poslednji group by .. ali ne znacajno

Code:

mysql> select t4.id, t4.naziv, t4.kolicina from t4, (select naziv, max(kolicina) kolicina from t4 group by naziv) x where t4.naziv = x.naziv and t4.kolicina=x.kolicina;
+----------+-------+----------+
| id       | naziv | kolicina |
+----------+-------+----------+
|   375920 | pera  |   100000 |
|   577518 | zika  |   100000 |
..........
|   649026 | mika  |   100000 |
| 10225520 | pera  |   100000 |
+----------+-------+----------+
63 rows in set (10.39 sec)

ako skratimo tu na "par hiljada" slogova (posto ti rece da ti tabela ima par hiljada slogova)

Code:

mysql> select count(*) from t4;
+----------+
| count(*) |
+----------+
|     9999 |
+----------+
1 row in set (0.00 sec)

mysql> select t4.id, t4.naziv, t4.kolicina from t4, (select naziv, max(kolicina) kolicina from t4 group by naziv) x where t4.naziv = x.naziv and t4.kolicina=x.kolicina;
+------+-------+----------+
| id   | naziv | kolicina |
+------+-------+----------+
| 6141 | pera  |    99996 |
| 6874 | zika  |    99883 |
| 8355 | mika  |    99987 |
| 8934 | zika  |    99883 |
+------+-------+----------+
4 rows in set (0.92 sec)

i dalje spooooorooooooooooo

e sad .. razmislis malo popijes kafu ..

Code:

mysql> alter table t4 add key(kolicina);
Query OK, 9999 rows affected, 2 warnings (0.62 sec)
Records: 9999  Duplicates: 0  Warnings: 0

mysql> show create table t4\G
*************************** 1. row ***************************
       Table: t4
Create Table: CREATE TABLE `t4` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `naziv` char(30) DEFAULT NULL,
  `kolicina` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `kolicina` (`kolicina`)
) ENGINE=MyISAM AUTO_INCREMENT=10485762 DEFAULT CHARSET=latin1
1 row in set (0.00 sec)

mysql> select t4.id, t4.naziv, t4.kolicina from t4, (select naziv, max(kolicina) kolicina from t4 group by naziv) x where t4.naziv = x.naziv and t4.kolicina=x.kolicina;
+------+-------+----------+
| id   | naziv | kolicina |
+------+-------+----------+
| 8355 | mika  |    99987 |
| 6141 | pera  |    99996 |
| 6874 | zika  |    99883 |
| 8934 | zika  |    99883 |
+------+-------+----------+
4 rows in set (0.00 sec)
[/quote]
DZBENG :) aj da opet probamo sa mnogo slogova

Code:

mysql> select count(*) from t4;
+----------+
| count(*) |
+----------+
|  1279872 |
+----------+
1 row in set (0.00 sec)

mysql> select t4.id, t4.naziv, t4.kolicina from t4, (select naziv, max(kolicina) kolicina from t4 group by naziv) x where t4.naziv = x.naziv and t4.kolicina=x.kolicina group by t4.naziv;
+----------+-------+----------+
| id       | naziv | kolicina |
+----------+-------+----------+
| 10596516 | mika  |   100000 |
| 11243666 | pera  |   100000 |
| 10510796 | zika  |   100000 |
+----------+-------+----------+
3 rows in set (0.29 sec)

bolje od toga nece :(

no ... abitno za sam upit, kakvu god statistiku da vadis i kakav god ti report treba, vadjenje istog svake sekunde je rezolucija koju ne mozes da iskoristis ni za sta .. da vuces neki stat na minut pa ajde ali sve i da prodajes 100 artikala u sekundi, 1min statistika je dovoljno velika rezolucija, cak je i 5imn statistika vise nego dovoljna .. informacija da li se vise prodalo sa rezoluciojom vecom od 30minuta je beskorisna .. za neke stvari je 5min neophodno .. sve ispod je lab experiment koji traje par sekundi pa je bitno pokupiti sav data na vreme .. no i tada, logujes sav data tih par sekundi pa ga posle obradjujes na tenane ...

dakle probaj da ne preterujes sa "tacnoscu" :) ... bilo kakav izvestaj sa greskom od par sekundi je "ok" za 99.999999999% primena

dalje ... ako ti stvarno treba "real time" data onda nemoj da generises izvestaj svake sekunde nego iskoristi trigere i update-uj neku tabelu na svaku promenu ... dakle, za T4, na svaki insert / update odradi update neke tabele gde drzis unique parove naziv/max_kolicina il ista ti je vec taj podatak, eventualno, tamo generisi taj report koji ti treba .. tako da imas real time data u toj nekoj "report" tabeli koji se generise pri svakoj promeni podataka ... mnogo bolje nego da svake sekunde teras generisanje ...

p.s. ignorisi ove warninge koji se vide u primeru, to mysql kuka da ne moze da nadje ndbcluster engine posto sam samo startovao sql nod a klaster nodovi su ugaseni

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu

bantu

Član broj: 38670
Poruke: 305
89.111.240.*

+27 Profil

Re: Jednostavan zadatak veliki prblem !

^{13.03.2009. u 13:41 - pre 184 meseci}

Bogdane, jeli možeš da pustiš i onaj moj upit na tim testnim podacima, čišto poređenja radi kad je već bilo priče oko IN()?

Odgovor na temu

zgas

Član broj: 74613
Poruke: 334
*.ptt.rs.

Sajt: odbrojavanje.com

Profil

Re: Jednostavan zadatak veliki prblem !

^{13.03.2009. u 13:49 - pre 184 meseci}

Redizajnirao sam ovaj deo baze po savetu.
To mi onemogucuje neke stvari za kasnije, ali dok ne nadjem bolje resenje bicu zadovoljan i sa ovim.
Hvala vam.

Aukcije, www.Odbrojavanje.com
Aukcija može biti osvojena jeftino - za 30 sekundi a 6 dinara!

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.xdsl.beograd.com.

Sajt: mysql.rs

+2377 Profil

Re: Jednostavan zadatak veliki prblem !

^{13.03.2009. u 14:06 - pre 184 meseci}

Citat:

bantu: Bogdane, jeli možeš da pustiš i onaj moj upit na tim testnim podacima, čišto poređenja radi kad je već bilo priče oko IN()?

jesi siguran ? radice 20min .. eventualno neki dodatni index ... aj .. pusticu ga bas da vidimo :)

Citat:

zgas: Redizajnirao sam ovaj deo baze po savetu.
To mi onemogucuje neke stvari za kasnije, ali dok ne nadjem bolje resenje bicu zadovoljan i sa ovim.
Hvala vam.

nema na cemu, valjda smo danas nesto naucili :)

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu

bantu

Član broj: 38670
Poruke: 305
89.111.240.*

+27 Profil

Re: Jednostavan zadatak veliki prblem !

^{13.03.2009. u 14:20 - pre 184 meseci}

Pusti ako te ne mrzi, pretpostavio sam da će duže da traje ali toliko...

Je li koristiš neki poseban alata za generisanje testnih podataka ili pišeš stored procedure?

I ja se volim igrati i testirari ali do sad sam uvjek pisao procedure za generisanje podataka, ili sam eventualno pisao neki jednostavan kod u nekom programskom jeziku.

Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.xdsl.beograd.com.

Sajt: mysql.rs

+2377 Profil

Re: Jednostavan zadatak veliki prblem !

^{13.03.2009. u 14:55 - pre 184 meseci}

Code:

mysql> select t4.id, t4.naziv, t4.kolicina from t4 join (select max(id) id from t4 group by naziv) x using (id);
+----------+-------+----------+
| id       | naziv | kolicina |
+----------+-------+----------+
| 11755631 | mika  |    76891 |
| 11755634 | pera  |    87349 |
| 11755632 | zika  |    97305 |
+----------+-------+----------+
3 rows in set (0.58 sec)

mysql> select t4.id, t4.naziv, t4.kolicina from t4 where t4.id in (select max(id) from t4 group by naziv);

a u drugoj konzoli:

radi preko 30min sad cu da ga zabodem ...

sto se tice "programa za generisanje testnih podataka", generalno koristim sysbench za testiranje (on sam generise podatke) ili gypsy koji generise podatke kakve mu zadas ...

u ovom slucaju, posto ne treba puno podataka, koristio sam:

Code:

mysql> create table t4 (id int primary key auto_increment, naziv char(30), kolicina int) engine=myisam;
Query OK, 0 rows affected, 2 warnings (0.01 sec)
mysql> insert into t4 (naziv, kolicina) values ('pera', rand()*100000);
Query OK, 1 row affected (0.00 sec)

mysql> insert into t4 (naziv, kolicina) values ('mika', rand()*100000);
Query OK, 1 row affected (0.00 sec)

mysql> insert into t4 (naziv, kolicina) values ('zika', rand()*100000);
Query OK, 1 row affected (0.00 sec)

mysql> insert into t4 (naziv, kolicina) values ('mika', rand()*100000);
Query OK, 1 row affected (0.00 sec)

mysql> insert into t4 (naziv, kolicina) values ('mika', rand()*100000);
Query OK, 1 row affected (0.00 sec)
mysql> insert into t4 (naziv, kolicina) select naziv, rand()*100000 from t4;
Query OK, 10 rows affected (0.00 sec)
Records: 10  Duplicates: 0  Warnings: 0

mysql> insert into t4 (naziv, kolicina) select naziv, rand()*100000 from t4;
Query OK, 20 rows affected (0.00 sec)
Records: 20  Duplicates: 0  Warnings: 0

mysql> insert into t4 (naziv, kolicina) select naziv, rand()*100000 from t4;
Query OK, 40 rows affected (0.00 sec)
Records: 40  Duplicates: 0  Warnings: 0
...
mysql> insert into t4 (naziv, kolicina) select naziv, rand()*100000 from t4;
Query OK, 5242880 rows affected (23.90 sec)
Records: 5242880  Duplicates: 0  Warnings: 0

generalno sa "strelica na gore + enter" uduplas broj slogova :) ... brze nego da napravim config za gypsy i pustim ga da puni tabelu :)

p.s. pustio sam onaj tvoj i sa indexom na name ... nije pomoglo ... evo vec 15min i nije zavrsio .... to je ono vezano za IN o cemu sam pricao ...

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Odgovor na temu