Organizacija baze par pitanja

Organizacija baze par pitanja 21.11.2011. u 13:26 · pre 181 mesec #1

Treba da napravim aplikaciju za arhiviranje vijesti.. Na godišnjem nivou ima između 30 000 i 50 000 vijesti. Tabela u koju smiještam vijesti izgleda otprilike ovako:

GODINA*(INT), BRPROTOKOLA*(INT),NASLOV(VC),TEKST(TEXT)

U polje TEKST se smiješta između pola i cijele strane A4 formata teksta..
E sada me interesuje kako da riješim problem brzine pretrage po bazi? Pretraga će se vršiti po godini i nekoj riječi iz pola TEKST.
Da li ću povećati brzinu pretrage ako razdvojim vijesti po godinima u različite tabele (vijesti2010, vijesti2011, vijesti2012) ili ako ih razdvojim u zasebne baze?
I da li će biti mnogo sporo ako to budem sve "trpao" u jednu tabelu?

Hvala,
Milenko.

Re: Organizacija baze par pitanja 21.11.2011. u 13:40 · pre 181 mesec #2

Mislim da ce ti i tako i tako biti sporo...
Zasto ne bi napravio neku analizu teksta, da ti izbaci najcesce koriscene reci u tekstu, ili kako god tebi odgovara, pa posle te reci bacis u novu tabelu i na osnovu nje radis pretragu?

Re: Organizacija baze par pitanja 21.11.2011. u 15:04 · pre 181 mesec #3

Malo mi je problem da odaberem sve ključne riječi po kojima će se vršiti pretraga..
Jer ću morati da tražim od onoga ko unosi te vijesti da doda i ključne riječi za te vijesti, a to u mnogo slučajeva neće biti dovoljno za pronalaženje određene vijesti..

Re: Organizacija baze par pitanja 21.11.2011. u 15:36 · pre 181 mesec #4

http://dev.mysql.com/doc/refman/5.0/en/fulltext-search.html

godinu možeš da koristiš u where uslovu, pa još ako imaš indeks po tome...

Re: Organizacija baze par pitanja 21.11.2011. u 21:29 · pre 181 mesec #5

A eksterni softver za full tekst search?

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Re: Organizacija baze par pitanja 22.11.2011. u 01:40 · pre 181 mesec #6

to sto tebi treba da sacuvas se ne cuva u rdbms-u i mysql nije validan resource za to ... ako bas hoces da cuvas u mysql-u onda za pretragu moras da koristis http://sphinxsearch.com/ ili nesto slicno.

baze podataka za takve podatke su drugog tipa, to bi najlakse/najbrze resaio sa lucene database serverom na primer. On ti je idealan
- nema update, ima samo insert i delete (a ti ces svejedno da pravis arhivu znaci imas samo insert)
- indexira sadrzaj full tekst indexom (te mozes da pravis komplikovane upite - kao recimo sto google pretrazuje web sajtove)
- radi dosta brze nego mysql + sphinx

ako neces javu, mozes da koristis clucene sto je isto to samo c++

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Re: Organizacija baze par pitanja 22.11.2011. u 18:15 · pre 181 mesec #7

Sutra ću da probam pretragu sa ovim Sphinx-om da vidim kako radi..
I da li ću da ubrzam pretragu ukoliko razdvojim te vijesti po godinama ili ako su sve u jednoj tabeli?

Re: Organizacija baze par pitanja 22.11.2011. u 19:47 · pre 181 mesec #8

I meni je sphinx pao na pamet, ali nisam hteo da ofrsiram resenje... Radi to fino, a jos finije moze da se napravi i cluster sphinx servera, koji onda mogu stvarno doooobrooo da skaliraju :).

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Re: Organizacija baze par pitanja 28.11.2011. u 10:32 · pre 181 mesec #9

Citat:

bloker: Sutra ću da probam pretragu sa ovim Sphinx-om da vidim kako radi..
I da li ću da ubrzam pretragu ukoliko razdvojim te vijesti po godinama ili ako su sve u jednoj tabeli?

Pošto to ti niko nije odgovorio, ne nećeš ubrzati primetno (u odnosu na varijantu gde je godina indeksirana pa radiš WHERE godina = 2011). Samo ćeš sebi zakomplikovati život.

Potpis

"Common sense is not so common." - Voltaire

Re: Organizacija baze par pitanja 28.11.2011. u 10:40 · pre 181 mesec #10

da, ako ti je cesta pretraga sa where godina= .. onda particionisi tabelu po godinama

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Re: Organizacija baze par pitanja 29.11.2011. u 10:20 · pre 181 mesec #11

Pretragu sa godinom sam samo uzeo da bih suzio količinu redova nad kojima se vrši full-text search..
Probao sam funkciju za Full-text search MATCH('Content') AGAINST ('keyword1 keyword2') i testirao sam je na tabeli od oko 50K redova i radi dosta brzo (max par sekundi)..
E sada da li je ovaj način pretrage bolji (brži) od LIKE "%keyword%"?

Re: Organizacija baze par pitanja 29.11.2011. u 10:27 · pre 181 mesec #12

Nema goreg načina pretrage od LIKE '%keyword%', prema tome, bilo šta drugo da koristiš, biće bolje.

Re: Organizacija baze par pitanja 29.11.2011. u 11:43 · pre 181 mesec #13

MATCH je ok, problem sa MATCH je sto radi samo na myisam-u (od 5.6 bi trebalo da i u innodb-u ima fts mada videcemo) a myisam nije bas reprezentativni storage engine (nema transakcije, nije crash safe ..) ... ako ti je cela baza to o cemu pricas (vesti) bolje ti je da zaobidjes rdbms i bacis se na ono pravljeno bas za to (npr lucene), ako imas jos sta osim vesti tu a samo ti vesti prave problem, bolje ti je da naucis sphinx i spojis ga sa mysql-om... mysql ima fts (u myisam-u samo, bice nekad i u innodb-u) ali doticni nikad nece moci da radi tako dobro kao lucene ili kao sphynx iz prostog razloga sto je pravljen za "opstu primernu" i bez nekog extra podesavanja dok sphynx i lucene sluze bas za to sto tebi treba

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Re: Organizacija baze par pitanja 29.11.2011. u 14:53 · pre 181 mesec #14

Gdje mogu da nađem za šta je koji storage engine najbolji? Tj. gdje je koji najbolje primijeniti.
Hvala.

Re: Organizacija baze par pitanja 29.11.2011. u 15:05 · pre 181 mesec #15

nema sta da trazis

InnoDB je moderan storage engine koji podrzava full ACID
MyISAM je zastareo storage engine koji nema transakcije, nije crash safe, nije ... nema ... ne moze ...

MyISAM ima samo 2 stvari koje moze brze / bolje od InnoDB-a

1. full text search (5.6 bi trebao da dodje sa full text search u innodb-u)
2. vracanje metadata informacija (COUNT(*) ce iz myisam-a doci "odma" zato sto ce myisam to izvaditi iz metadate, innodb mora da izbroji, to myisam moze samo zato sto uvek samo jedan thread moze da pise po njemu pa mu je jednostavno da odrzava takve meta podatke)

Generalno MyISAM nije storage engine o kome treba razmisljati osim za stvari tipa temporary tabele i slicno

Ako oces da citas o storage engine-ima:
http://dev.mysql.com/doc/refman/5.5/en/storage-engines.html

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Forum kao aplikacija na telefonu

Srodne teme