Big Data - preporuke

Pazi i HBase ti je columnar storage engine, pa ti i Hive i Impala rade tako. Naravno, mozes uvek da probas i CouchDB npr. Vertica je isto fina, ali free resenje ima limit u kolicini podata - i to premali za ozbiljan rad.

Sustina je: Razmisli da ti ti vrsi posao Elastic. Nisam ga koristio, ali moram da priznam da deluje impresivno - i on ima Hadoop backend i to bi trebalo da radi sjajno, sve dok si unutar parametara koje on moze da obradi. Za apache logove, deluje kao kljuc-u-ruke resenje, tako da je verovatno sasvim dovoljan.

Ono sto sam ti ja spominjao CDH (Hadoop + HBase + Hive/Impala + sitnice ) -> TokuDB -> Reporting je genericko resenje, koje ima smisla ako ti treba full OLAP, sa nekim custom podacima. Ako ono sto logujes nije samo clickstream, vec i detaljni user data, ako hoces vise od analiza posete - npr. detaljne analize ponasanja posetilaca, neki e-commerce recomendation engine ili tako nesto, onda ovo sto sam ti ja predlozio ima smisla. Ako si siguran da ti treba samo apache log analisys - pa, ja bi, iskreno, ulozio vreme u Elastic.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Nisam odustao od HBase i pratecih komponenti nego u ovom trenutku nemam HW za neko malo ozbiljnije testiranje. Ocekujem da mi to obezbede pa sam u meduvremenu probao ova nesto jednostvnija resenja.

InfiniDB mi je bio zgodan za probu jer sam vec napisao parser u PHP (za custom Apache log format) koji se kaci na MySQL backend pa sam brzinski to pustio u pogon.
Inace imao sam isti takav parser i u Python-u koji su pisali neki drugi momci ali ovaj moj sam tako dobro uradio da shije ~5x po brzini ovog u Python-u za kojeg su pricali da je mega brz ;)

Sad cu jos malo da se pozabavim sa Elasticsearch ali moram da udjem dublje u problematiku bas zbog ovog custom log formata pa da vidim kako to sad sve da iskombinujem za testiranje.

Potpis

Site about Software Defined Radio – SDR
http://yu3ma.net/
https://github.com/yu3ma
On-line LM317 kalkulator

Probaj http://it-ebooks.info/book/3280/

Nije suvoparna teorija, vise je -> koji alat za koji zanat. Koliko veliki cekic mi treba ....

Potpis

U padu jednog carstva stradaju svi, tako je uvek bilo, tako će biti i sada. Verovatno će posle svega ovoga
biti formirani neki novi blokovi, nova uređenja. A mi? Eh, a mi..

@whitie2004 Procitao sam za sad prva dva poglavlja ove knjige. Vrlo korisno pisanije!
Hvala za preporuku.

Potpis

Site about Software Defined Radio – SDR
http://yu3ma.net/
https://github.com/yu3ma
On-line LM317 kalkulator

Daj link za taj python parser (ako je open source) .. bas da vidim zasto je spor :)

Potpis

CCIE #22192 )
https://pulsarpoint.rs