NonSQL i MongoDB Pocetnik

Pozrav narode,

U zadnje vrijeme razvijam jedam projekat pa su mi relacione baze (tabele) bile neprakticne za jedan dio i tako krstarenjem internetom trazio sam resenje da se prosire i naletion na termin nonsql DODB ...
I pocenem da se uponajem sa teorim i vidim da su nove baze koje treba tek na scenu u masovnu upotrebu da dodje jako dobra resenja ... facebook, youtube, google i drugu vec ih koriste a neki su i sami razvili svoje modele...

E meni je za oko zapala mongodb i pocnem je izucavati po malo ... e sad ... conzolno bzv znam sve uraditi ... :D ali ne znam kako to da primjenim ... 6 godina sa relacionim db su sigurno u meni napravili rutinu razmisljanja da sve ide preko relacija i tako da sam skorz kratkovid u prakticnu primjenu na proektat..

Sad me zanima da li bi mi neko mogao objasniti kako da iskoristim nove baze na web sajtove na klasicne primjere ...

Nekako mi se čini da si pogrešno postavio stvari. Koji problem riješavaš i zbog toga razmišljaš u NoSQL-u?

NoSQL se generalno koristi u situacijama kada imaš ogromne količine podataka i gdje apsolutna tačnost upita nije jedan od imperativa.
Mislim da NoSQL nema praktično nikakvu primjenu u standardnim veb sajtovima.

Potpis

Beneath civilization's fragile crust, cold chaos churns...

Hvala sto si mi se javio,

Evo u cemu je problem ... trenutno radim nesto poput digitalnog dnevnika tj, njegovu zamjenu ili mozda bolje da kazem alternativu...
E sad zamisli tabelu koja za 9.mjeseci puni se na nekih 10m redova .... e sad znas kakva je relaciona logika i kako razmisljamo relacino preko id -a :)
10m redova nije nimalo malo ako se uzme predpostavka da ce oko 20k usera prosecno dnevno da pristupa + racunanje i ostalo ....

e sad kod mongodb mogu maltene da smjestim sve u jednu "tabelu" ali ne znam kako da pravim relacije, a druga mogucnost jeste da podatke o ocjenama smijestam i u "tabeli" user i u "tabeli" ocjene npr ali tu se krsi osnovni model db ....

jednostavno ne znam kako da povezem sve te stvari ... jako mi se svidjaju nonsql db ali jednostavno ne umijem da ih primjenim ... trebaju mi uputi i klasicni primjeri ... a to sto sam nasao na netu recimo da nema nista o tome ....

Ja sam skoro pročitao par članaka vezanih za NoSQL baze podataka i koliko sam skapirao relacione baze i NoSQL baze se ne sukobljavaju već se dopunjuju. Na ovom linku
http://www.mongodb.org/display/DOCS/Schema+Design
imaš materijal koji bi mogao da ti razjasni neke stvari.


Takođe na ovom http://degizmo.com/2010/03/23/redis-relations-in-a-nosql-world/ linku možeš da nađeš sledeće:

Potpis

http://biske.rs

Hvala na ovom drugom linku .. ovaj prvi sam vec gledao i citao ... ali jednostavno ... nece jos u mojoj glavi nije sve jasno ...:)
a moje misljenje je da ce ove baze pregaziti sql ... jer je lijepo kad sa jednim "upitom" dobijes sve podatke pritom date u json strukturi i ovo sto sam do sad testirao radi jako brzo ....
Bacam se na proucavanje .... hvala puno

Ja i dalje mislim da se neće desiti ovo što pričaš da će NoSQL baze pregaziti relacione baze pošto nisu za iste potrebe. Uostalom pokazalo se u praksi za šta se koriste ove baze, proguglaj Facebook NoSQL i Twitter NoSQL i videćeš gde su našli primenu. Kad bi bila dobra ideja da se sve relacione baze zamene NoSQL bazama verovatno bi to Facebook i uradio, ovako oni za većinu podataka koriste MySQL, makar tako piše na internetu.
Kao što sam rekao, po mom mišljenju ove dve baze se dopunjuju i stvarno ne treba da advokatišemo o tome šta je bolje. Znači i jedno i drugo imaju primenu, ko zna i jedno i drugo odlična je stvar.

Potpis

http://biske.rs

Ako vec developeri moraju svu relacionu logiku da rese kodom, sta ce ti uopste bilo kakva baza, SQL ili NoSQL. Obican text fajl moze da posluzi, ili XML. I tu ima dosta iskustva. I dobro je sto se ustedi vreme koje se inace gubi na garantovanju integriteta podataka. nema bajo vise nikakvih ogranicenaj, sve prolazi, i to velikom brzinom. Kako se samo ovoga niko nije setio ranije. A mozda i jeste.

Jos pre 30 godina su komunalne firme u staroj YU koristili protram napisan u BASIC za PDP kompjuter (kod nas ze zvao Iskra) koji je sve radio sa text fajlovima i sve je bilo kontrolisano iz BASIC-a. Znaci, moze se, i ima se iskustva, valjda nisu svi bas u penziji koji su na tomre radili. Iz nekog glupog razloga, verovatno pomodarstva, ljudi su kasnije presli na relacione sisteme...

Ovo mi daje ideju da otvorim biznis, prodajem prazne sendvice bez hleba. Parce 'leba gore, prce 'leba dole a u sredini nista. Onda se hleb odbaci kao nezdrav, zbog karbohodrata. Strasno se brzo prave takvi sendvici, i sto je najlepse - absolutno je nemoguce dobiti na tezini. A mogu se slati i direktno na Blackberry ili Iphone, "there is app for everything". Total flexibility at enormous speed. Welcome to future.

Srecan rad

@Zidar, pokojni Čkalja je to zvao "PRAZAN SENDVIČ", a ima još uvek živahnih penzionera koji se dobro sećaju PDP-ja i sve pomenute priče... :-)

Potpis

http://zoraneremija.wix.com/eremijacv

svaki tip baze ima svoje trziste i svoju primenu. Ako su relacije veoma potrebne, ako je potrebna koinzistentnost podataka.. i jos par sitnica.. onda su ti potrebne relacione baze (oracle, sql server, postgresql, mysql)..
Nosql je nesrecno skovani termin koji sluzi da bi se napravio hype :). A u pitanju su samo nerelacione baze: tree, key-value, object oriented... baze. Svaka sluzi za po nesto :)

Dobri covek Ckalja. Paja i Jare i kamion... bas je bilo lepo.

Sto se tice baza, tacno, sve imaju svoju primenu. Samo treba biti oprezan sa novotarijama, za svaki slucaj. So bzirom na Zoranov moj uzrast, treba nam oprostiti sto smo ponekad skepticni prema novotarijama.

To o cemu pricate je zapravo bolje opisati kao NoREL, da izbegnemo konfuziju. IMHO, RDBMS uvek moze da se koristi u optimizovanom NoREL rezimu dok suprotno ne vazi. Sve ostalo mi deluje kao povelik hype

Potpis

Sloba je za 12 godina promenio antropološki kod srpskog naroda. On je od jednog
naroda koji je bio veseo, pomalo površan, od jednog naroda koji je bio znatiželjan, koji
je voleo da vidi, da putuje, da upozna,
od naroda koji je bio kosmopolitski napravio narod koji je namršten, mrzovoljan,
sumnjicav, zaplašen, narod koji se stalno nešto žali, kome je stalno neko kriv - Z.Đinđić

Hype-a ima sigurno, kao i u svemu sto se danas pojavljuje kao nesto novo - bilo to dobro ili lose.
Ali zaista mislim da se ne moze otpisati kao nepotrebna/redudantna novotarija, jer tesko je povjerovati da bi FB i Google koristili tu tehnologiju samo zato sto je, sta, izhajpana :)
Svaka logika iza toga bi bila mnogo nategnuta. A Google i FB nisu to sto jesu zato sto im je tehnicki dio sistema krs.

Potpis

Beneath civilization's fragile crust, cold chaos churns...

a ne ne. Nije nepotrebna. Relacione baze su jako lose za neke tipove primena, i zato ostale uskacu da popune tu prazninu. Ali ne-rel baze postoje oduvek, samo sto su sada napravili hype sa terminom nosql a ne sa samim bazama :)

NoREL je brzi samo zato sto "sece krivine" koje RDBMS po defaultu ima postavljene jer vodi racuna o nekim drugim stvarima sem brzine. RDBMS moze da radi kao NoREL, relacije su opcione. Kad bi iz bilo kog danas ozbiljnijeg RDBMSa izbacio sve ono sto NoREL ne podrzava (a mozes da izbacis konfigurisanjem) i ogranicio query-e na ono sto NoREL radi dobio bi at-par performanse i to samo ako je NoREL resenje "pokralo" neke RDBMS trikove kao sto su paging, caching, indexing, itd. Mislim da smo bas ovde i na forumu imali slicnu temu ovoj. Isto tako obratite paznju na to da skoro SVI noREL timovi sa svojim resenjima polako ubacuju funkcije koje su skupe i za koje moraju da implementiraju logiku koja je u RDBMS sistemima vec dovedena do savrsenstva (sorting, paging, multi-indexing, composite indexing, dynamic cursors, locking, itd). Da ne pominjem da te NoREL potpuno i za sva vremena ogranicava na denormalizovane podatke i da nikad nece moci da uradi stvari koje RDBMS moze i zato kazem Hype. TO moze da bude super za google za brzu pretragu po kljucu ali vec za facebook nije dobro, kao ni za 99.999% poslovnih primena gde je normalizacija kljuc kasnije analitike.

Ne kazem da NoREL-only resenja ne treba da postoje ali kazem da je hype napravljen ogroman oko necega sto je u osnovi povratak korenima RDBMSa. Nista se revolucionarno tu vise ne desava, optimalni algoritmi za pretrazivanje vec postoje, i ako vec biram ciju implementaciju cu koristiti moji favoriti su medju iskusnijim igracima kao sto su MSSQL, Oracle, PostgreSQL i sad MySQL pre nego sa emerging timovima kao sto je Mongo ekipa. Isto ne kazem da mi se ne svidja lambda dokument query i hijerarhija koju Mongo ima, sve to izgleda previse dobro i nazalost i jeste, to je mac sa dve ostrice. Losa strana je sto efektivno query optimization svali tebi u krilo, pa kako ti bude, sa prostijim queryima na flat strukturama se snadjes da izzmuzes optimalno resenje a onda kako evoluiras proizvod i uhvatis sebe da ti treba normalizacija onda pocnes da validiras, da simuliras relacije, spajas strukture, preloadujes masu podataka za kompleksnije agregacije, i to onda postane ruzno i sporo.

Potpis

Sloba je za 12 godina promenio antropološki kod srpskog naroda. On je od jednog
naroda koji je bio veseo, pomalo površan, od jednog naroda koji je bio znatiželjan, koji
je voleo da vidi, da putuje, da upozna,
od naroda koji je bio kosmopolitski napravio narod koji je namršten, mrzovoljan,
sumnjicav, zaplašen, narod koji se stalno nešto žali, kome je stalno neko kriv - Z.Đinđić

Solr/Lucene (po mom misljenju) najbolji search engine koristi norel bazu :). Za keshiranje web aplikacija, niko ne koristi rel baze nego samo norel (npr memcache/apc/memcached i sl). Embeded sistemi, koliko ja znam, ne koriste rel baze. Veliki CMS tj EMS sistemi, za smestaj samog contenta, skoro uvek koriste specijizovane XML baze (mislim da su izuzetak IBM, Oracle i MS)
Hype sam po sebi je jako dobar, jer ipak, na neki nacin, se sazna mnogo vise o bazama i dobijemo mnogo bolje alate za neke specificne stvari.
Jednostavno sve je to alat: nekad ce koristimo ashov a nekad motiku (ili kafenu kasiku kao arheolozi). A i jedno i drugo sluze za kopanje

Juche je kolega u firmi drzao predavanje o NoSQL bazama. (NoSQL ne znaci NON SQL (bez sql) vec Not Only SQL :).

Jedna cinjenica koja ide u prilog NoSQL bazama je horizontalna skalabilnost koja je daleko ucinkovitija nego kod RDBMs-a.

Potpis

:: Nemoj se svadjati sa budalom, ljudi cesto nece primjetiti razliku ::

Kako? I u kom smislu ucinkovitija? Daj malo elaboracije, pustio buvu i zapalio




Znas sta, mogu i ja iz koda da napravim hashed kolekciju za kesiranje i u osnovi to zadovoljava basic definicije NoREL baze , nemojmo sad preterivati i nazivati to bazama . A btw, koriscenje XMLa za smestanje/retrieval podataka je teski crap osim ako nije samo za content nad kojim je neki indexable search layer koji nije XML, to mogu iz prve ruke da ti potvrdim.

Potpis

Sloba je za 12 godina promenio antropološki kod srpskog naroda. On je od jednog
naroda koji je bio veseo, pomalo površan, od jednog naroda koji je bio znatiželjan, koji
je voleo da vidi, da putuje, da upozna,
od naroda koji je bio kosmopolitski napravio narod koji je namršten, mrzovoljan,
sumnjicav, zaplašen, narod koji se stalno nešto žali, kome je stalno neko kriv - Z.Đinđić

@BorisMB

10 M slogova je puno podataka, a opet s druge strane i nije.
zato postoji particioniranje tablica.
nosql baze nisu predviđene za stvari za koje ih ljudi pokušavaju koristiti.

mysql je relacijsla baza, a mysql cluster je recimo jedna vrsta nosql baza.


nosql baze neće pregaziti relacijske baze, jer relacijske se koriste za organizaciju podatataka, dok nosql za neke druge stvari.

u praksi obično to ide ovako: neznamo relacijske baze, ali imamo za napraviti neki projekt, sa strane smo čuli za nosql baze i odlučili koristiti.
čitaj: ne uči nam sql i nemamo pojma o relacijskim bazama i nećemo imati.

Loša ti je ta praksa.

U praksi, sagledaš problem i onda odlučiš koji alat je dobar da ga rešiš. Ako ne poznaješ alat - naučiš da ga koristiš.

Iliti: ako treba da zakucaš ekser, uzećeš čekić, a nećeš ga tući klještima...

Nerelacione baze su vrlo zanimljiva pojava. Mogu da barataju sa nekim vrstama podataka koji su noćna mora za relacione baze. Ipak, idelno bi bilo da se napravi kombinacija.


_{[Ovu poruku je menjao Predrag Supurovic dana 18.04.2011. u 08:53 GMT+1]}

Potpis

http://pedja.supurovic.net - http://wireless.uzice.net - Besplatni .RS domeni - Mikrotik uputstva - YT9TP - OpenStreetMap Srbija

Nisam siguran da je moguce napraviti kombinaciju jer je normalizacija problem, struktura je ili normalizovana do neke forme ili nije normalizovana uopste, nema niceg izmedju NoREL i 1NF, samo NoREL, a ako u NoREL ubacis normalizaciju onda je to vec RDBMS.

Te zanimljivosti se uglavnom svode na apstrakciju query jezika, ono sto ti ne vidis je na koji nacin noREL sistem interpretira i izvrsava te strukturalne query-e a to se na kraju svede na index scan, MORA da se svede ili gubi na performansama. Ako hoces plastican primer ovoga pogledaj Linq2SQL ili Linq2EF, sve operacije koje npr Mongo podrzava u svom arsenalu direktno podrzava i Linq, i kao nivo apstrakcije oslobadja te potrebe da znas SQL, pa ipak iza svega toga je sistem koji Linq queryje pretabava u SQL koji rdbms moze da sazvace. To i dalje ne cini Linq bazom, samo ga cini apstraktnim layerom iznad baze. Ista je prica i za noREL sisteme, dok neko ne pokaze fundamentalno novi algoritam za pretrazivanje struktura podataka koji je bolji od B+tree sve se na kraju svodi na isti mehanizam.

Potpis

Sloba je za 12 godina promenio antropološki kod srpskog naroda. On je od jednog
naroda koji je bio veseo, pomalo površan, od jednog naroda koji je bio znatiželjan, koji
je voleo da vidi, da putuje, da upozna,
od naroda koji je bio kosmopolitski napravio narod koji je namršten, mrzovoljan,
sumnjicav, zaplašen, narod koji se stalno nešto žali, kome je stalno neko kriv - Z.Đinđić