mala pomoć oko strukture, kako je najbolje

Imam ideju da napravim sistem za upravljanje dokumentima, danas toga ima u svakoj firmi ima mnogo, a ni skeneri nisu retkost, neko je izrazio zelju da bi mu mnogo pomoglo kad bi dokumente skenirao i sad treba napraviti deo za indeksiranje toga. Ako zanemarimo osnovna polja tipa id, datum, vrsta, opis... problem nastaje sa pojmovima koje treba uneti i indeksirati i posle ih pretrazivati. Gledao sam neke sisteme, recimo wordpress ima interesantno resenje, u jedno polje se unose kljucne reci odvojene zarezim pa na na osnovu toga pravi indeksiranje.

Imate li ideju kako organizovati podatke (pojmove, kljucne reci) da se lako nadju, da li u jednom polju, da li u vise, mozda u vise tabela?

Potpis

Pomozite Micro$oftu u borbi protiv piraterije, poklonite prijatelju Linux

ima mnogo nacina da se to resi, trebaju ti polja za metadata, metadatu
definises sam prema svojim potrebama vezano za to kakvi su dokumenti,
metadata se u glavnom rucno unosi (datumi, kategorije, naslov, kljucne
reci), treba ti polje da sacuvas original dokumenta (neki jpg ili pdf
ili png ili u sta si ga skenirao, mozda docx, xls .. sve su to dokumenti
mozda i nisu samo skenirani) i treba ti polje sa tekstualnim sadrzajem
koje se puni automatski nekim ocr-om ili doc2txt ili pdf2txt ili ... e
sad sve zavisi koja kolicina, kakve ce vrste pretrage biti... za
pretragu spremas razne indexe, naravno kroz metadatu, u metadati imas
rucno unesene kljucne reci, ali takodje moras da indexiras i generisani
sadrzaj dokumenta (mozda neces imati to odma ali vec za koji mesec ce se
javiti potreba) .. ja bi licno zaobisao mysql u toj prici ... ima danas
toliko modernijih document storage sistema koji su mnogo bolji fit za
bazu koja ima samo inserte (ti ces tu imati update / delete u promilima)
i koja realno cuva dokumente ..

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Sto mi ubi volju za MySql? Sta mu fali? Ne bi dokumente cuvao u bazi nego u folderima kao origilal, a program da zna gde su i da ih pokazuje po potrebi

Ne bi trebalo da je nista toliko ozbiljno, vise da je korisno, tokom vremena dolazi mnogo ulaznih faktura i drugih dokumenata, i ako neke smatra da bi bilo olaksao posao (pratkticno pretrage) oko dokumentacije onda sam raspolozen da to pravim. Skenrati, indeksirati i arhivirati je verovatno jednostavnije nego se posle penjati i traziti po registrima

No, kako svaki projekt pocenje "bice samo dve-tri stvari..." uvek se iskopmplikuje i prosiri

Ako zanemarimo sada da se tekst provuce kroz ocr i ubaci u bazu, ostaju doc, pdf i skenirani dokumenti (iz aplikacije i sa drugih strana)

Gledao sam malo open source resenja i na ekranima za unos nije bilo bas mnogo podataka, ali wordpress ima interesantan nacin indeskiranja stranica, prilikom unosa clanka ima jedno polje za KEYWORDS i tamo se unese tekst "REC1, REC2, REC3, REC4, ..." onda svaku rec indeksira i kljuc smesti u neku tabelu pa je posle lako traziti (mada je to prakticno po jednoj reci), indeks tabela je jednostavna

ID KEYWORD
1 REC1
2 REC2
3 REC3
4 REC4
...

i posle uz clanak u nekoj tableli ubaci gde se koristi neka kljucna rec

clanak id_keyword
516 1
516 2
516 4
520 1
520 2
520 3
...

na naslovno strani su prikazane kljucne reci (ima i broj povaljanja ali nebitno) i kad se klikne na REC2 lako je napraviti SELECT da se to pojavljuje u clancima 516,520,...

Ucinilo mi se interesantno (i jednostavno) samo je pitanje koliko je efikasno, ovo je prakticno priprema i lako je pokazati spisak kljucnih reci, naravno treba ostaviti i "slobodan" unos za pretragu

Potpis

Pomozite Micro$oftu u borbi protiv piraterije, poklonite prijatelju Linux

ne fali mu nista, ali ako vec mozes da biras bolje odaberes alat koji ce bolje da se poklopi sa potrebama, ja bi za taj projekat izbegao mysql ali ako treba da se budzne to u mysql svakako moze ..




to stvara brdo drugih problema
- neko moze da promeni dokument bez znanja baze, da ga obrise, promeni mu poziciju, sadrzaj ...
- bekap postaje uzasno komplikovan
- sutra ako treba da izbacis HA resenje opet imas dodatne komplikacije
- sutra ako treba da skaliras stvar, opet ..

etc etc ..
realno je kontent dobro da je na disku umesto u blobovima ali to nosi sa sobom komplikacije ... nfs deluje super na papiru, kad krenes da ga koristis uzivo dodje ti vrlo brzo da se roknes .. a kad ti neko napipa deljeni disk i da moze "brze" da pristupi pa slucajno uradi .... da ne idem u detalje, ima to svoje prednosti ali su mane ogromne


kao sto rekoh, moras da znas "svrhu" da bi mogao da odlucis sta i kako. no kao sto sam kazes:


zato planiras "in advance" :D



da i to radi zato sto je tako mnooooooooooooooogo brze nego da koristi mysql FTS .. isto rade i neki forum software-i, tj nude ti da biras os FTS ili njegovo lokalno indexiranje, lokalno indexiranje pravi vecu bazu ali radi znacajno brze.



super je efikasno, mnogo efikasnije od FTS-a

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/