SpikeFun - Artificial Nervous System Demo

Nije resila za mene... i dalje luduju brojevi, ali se sada duze zadrzava na realnim vrednostima.

Potpis

- Il n'est pas important qui, importe c'est quoi!

Hmm... koji CPU imas na laptopu? Probacu da nadjem slicnu masinu pa da vidimo...

Upravo sam uploadovao v0.35 - koja sada ima i neural-network vizualizaciju a ne samo "kockice".

Ako zelite da vidite kako izgleda, startujte SpikeFun sa /Wireframe parametrom. Vizualizacija cele mreze je VRLO zahtevna, trazi mnogo vise graficke memorije od "kockaste" vizualizacije + vrlo je gadna za geometrijski engine... Plus, kod je prilicno neoptimizovan :-) Dakle, ne pokusavati bez dobre diskretne graficke :-) + Vrlo je moguce da mid-range graficke odbijaju da simuliraju neki od preseta sa vecim brojem neurona (tipa 64x64x64).

Evo jednog video klipa kako izgleda mreza sa 260 hiljada neurona i 8 miliona sinapsi.

OBAVEZNO pogledajte u FullHD 1080p rezoluciji i sa full-screen pogledom:



Na zalost, YouTube prilicno kvari kvalitet videa, tako da sam zakacio jedan frejm sa ovom porukom, cisto da bude jasno sta se renderuje :-)

KLIKNI OVDE (980 KB JPEG)

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

v0.36 is out - fixovao sam problem gde je mreza izgledala previse uredjena na "linije" (neuroni su rasporedjeni drugacije sad)

Takodje, malo sam doradio rendering /Wireframe moda tako da je depth-sortiranje (zbog transparencije) nesto malo bolje, ali je i dalje daleko od optimalnog posto su u pitanju linije koje projektuju svuda... ako se zele performanse, mislim da nema nekog dobrog nacina... jedino gruba sila.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

AMD Athlon II Dual-Core M320 2.1GHz
(nisam probao ove dve poslednje verzije...)

Potpis

- Il n'est pas important qui, importe c'est quoi!

Svaka čast za trud. Kako si došao do ovog tj. kad smo već u ovoj oblasti šta je bila prevashodna motivacija za ovaj projekat, kako je nastao hobi?

Potpis

Be Back Soon



Swiching to another operating
system is no easy task, but before you shout "Heeeeeelp!", read this...

Ma prevashodna motivacija je bila "daj da nadjem nesto da zanimam mozak da ne zakrzlja posto ulazim u 30-te :-)" tu negde krajem prosle godine :-)

Cituckanjem o AI pristupima i istorije AI-ja sam dosao do neuroinformatike koja me je vrlo zainteresovala posto ukljucuje gomilu zanimljivih stvari, od oslanjanja na medicinu do informacione teorije. Dodatni izazov su ogromne mogucnosti optimizacije sto mi se vrlo svidja.

Anyway... SpikeFun v0.37 je uploadovan. Optimizovao sam malo iscrtavanje cele mreze.

+ Dodao sam neke opcije zbog zescih razlika u OpenGL drajverima izmedju NVidia-e i Intela...

Evo optimalnih parametara za koriscenje vizualizacije cele mreze.

Za NVidia kartice (testirano na GTX580, mada kontam da kaci i sve ranije modele):



Za Intel integrisane GPU-ove (testirano na GMA HD 3000):



Kako stvari stoje, NVidia OpenGL drajver je zesce optimizovan, i vise se isplati zvati glDrawRangeElements() individuelno za svaki neuron te sa glColor() menjati boju pre iscrtavanja (!!!) i sa if(voltage>THR) filtrirati neaktivne (nevidljive). Kod Intela se daleko vise poslati jedan veliki glDrawRangeElements() poziv za sve aktivne neurone tako sto se u niz koji drzi indekse spakuju samo vidljivi - ali to zahteva da se pre crtanja uploaduje i kompletan niz boja za svaku sinapsu (liniju) kao VBO bafer (sto moze biti i par desetina MB po frejmu!)

Rezultati na NVidia-i su kontraintuitivni posto kontam da i taj drajver mora u jednom momentu da uradi VBO transfer svih boja za svaki neuron/sinapsu + postoji overhead za vise desetina hiljada poziva glDrawRangeElements() po frejmu... ali ocigledno oni taj transfer rade mnogo bolje, verovatno koristeci neko kesiranje i slanje na GPU memoriju samo kada treba mozda i neku kompresiju itd... Intel drajver to ocigledno nema, i individualno crtanje neurona ga totalno urnise (vreme rendera skace i 10x).

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Novim verzijama se nije nista promenilo sto se tice FPS prikaza:
(btw, grafika je ATI Mobility Radeon HD 5145 512MB)

48³








32³








Za 32³ ovako velike vrednosti se pojavljuju dosta redje, nego kad je 48³ gde su skoro non stop prikazane nerealne vrednosti.

Potpis

- Il n'est pas important qui, importe c'est quoi!

To je ocekivano posto nista nisam menjao povodom FPS prikaza - problem je sto ne mogu kod mene da reprodukujem problem, pa cu morati da nadjem neku drugu masinu za to (sporiju verovatno).

Na srecu imam jedan Core 2 duo mobilni (Merom na 1.8 GHz) pa cu njega da osposobim i poteram SpikeFun tamo...

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Hm, zanimljivo je da ti prikazuje 0 za frame render time uvek... Moram da vidim sta se tu desava, posto koristim direktno rdtsc instrukciju da iscitam tajmer - naravno, testirano na Intel-u :-) Pogledacu da nema neki zez sa AMD procesorima koji ovo onemogucava...

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Uploadovao sam novu verziju (v0.38):

- Fixovan bug u panningu (SHIFT + mouse move) gde se desavalo da se pogled "izgubi"
- Dodate A, D, W i S komande za pomeranje kamere levo, desno, gore i dole (kao u FPS igricama :-)
- Camera reset je prebacen na X taster

- Umesto asemblerske rdtsc instrukcije sada koristm intrinstic instrukciju __rdtsc(), nisam siguran da li ce to promeniti nesto na AMD sistemima (frame render time), ali bar nije lose pokusati... u najgorem slucaju uvek mogu da se vratim na QueryPerformanceCounter() semplovanje...

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

v0.40 is out :-)

Dodata je podrska za sferne topologije (mozete izabrati sferne presete u konfiguracionim opcijama).

Evo kako to izgleda:



Sada jos nedostaju aksonski terminali bez mijelinskog omotaca, pa ce simulacija totalno oslikavati eksperiment iz: http://www.izhikevich.org/publications/reentry.htm sto mi je i ovako i onako prvi planirani "milestone".

Sferne topologije su zesci alpha, posto odabir neurona u 2D selektoru ne radi kako treba (moracu da raspisem novu rutinu za "presecanje" po Z osi i odabir pravog neurona koji odgovara X,Y koordinatama misa, posto je sa kockama/kvadrima to dolazilo za dzabe :-)

Takodje, dodao sam i kontrolu transparencije (alfa) u toolbox-u, posto je za render mreze potrebno naci optimalnu vrednost u zavisnosti od broja sinapsi.

Download verzije 0.40 je ovde:

http://www.dimkovic.com/distrib/SpikeFun_v0.40.zip

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Verzije izlaze k'o Firefox. :)

Hahhah, vala bash... al' Dimke bar menja brojeve iza nule, decimale... a FF menja cele brojeve, bas sam se iznenadio kad mi je na desktopu ponudio da instaliram FF 7.0.1! Reko WTF?! Kad je izasla 5ica?! :D (na laptopu koristim i dalje 3.6.xx :) )

Potpis

- Il n'est pas important qui, importe c'est quoi!

Radi sa wine-om "uglavnom" ... dakle sve radi osim sto kada krene simulacija
1. nema teksta (sim time, fps etc etc)
2. rade strelice da pomeraju presek, radi E da ubaci event, radi levi mis za rotaciju, ali desni klik u simulaciju zabode display simulacije (ostane onaj 2d prikaz ali 3d prikaz nestane)
3. ne radi /demo (moguce da nisam nesto dobro siljno wine za to)

evo ss-a ako nekog zanima

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Hmm... fontovi se kreiraju koristeci wglUseFontOutlines() API poziv, koji je Windows-specific, posto koristi Windows font biblioteke.

Da li ti radi help (sa F1)? Ili FFT plot (sa F5)?

Moguce je da nesto ne radi kako treba... na kraju cu verovatno lepo ubaciti Freetype biblioteku i samostalno praviti potrebne 3D primitive za fontove.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

nema veze sto je windoze api, wine bi trebao da ga odradi ... F1 prikaze overlay sa bojama ali nema txt-a a F5 prikaze FFT no opet ako treba da ima nekog txt-a nema ga...

moguce da samo nemam font koji koristis pa da zato nije ubacio ... koji font koristis (ako se dobro secam wglUseFontOutlines koristi font iz trenutnog rendering konteksta) .. Mozda bi pomoglo ako bi explicitno setovao font na neki standardni (arial npr) no nisam kucao nista na windozi u ovom veku pa sam malo zardjao :( ... u svakom slucaju ovo deluje da radi prilicno lepo sa wine-om tako da mozda ni ne moras da pravis nativnu verziju :) ... naravno openCL bi pomogao znacajno :)

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

Hm... fontovi su Arial i Courier New, pa cak i ako nema tih fontova (sto je malo verovatno, je li) postoji back-up na SYSTEM_FONT...

Moracu da vidim to - probacu da poteram kod sebe SpikeFun na linuxu preko Wine-a sa vise debug opcija pa cemo videti sta mu se ne svidja...



Hehe, CUDA/OpenCL ce doci, samo hocu prvo da uradim glavne stvari na CPU verziji (arhitektura i sl...) kako ne bih posle morao da menjam kod na vise mesta.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

ifdef rulez :D

Potpis

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/

E lepo da si stavio i nekakvu ikonicu, posto ne volim one default, pa sam promenio bio na neku bezveze samo da ima ()...
...brzo ti programcic postaje kompletan. :)

Potpis

- Il n'est pas important qui, importe c'est quoi!

Super mi ovo izgleda i svaka čast od mene za true :)

Imaš li viziju gdje bi se ovo moglo upotrijebiti (pročito sam sve ali sam možda promašio tu inf.)

Potpis

http://www.knjigaimena.com