Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

SpikeFun - Artificial Nervous System Demo

[es] :: Veštačka inteligencija :: SpikeFun - Artificial Nervous System Demo
(TOP topic, by Gojko Vujovic)
Strane: << < .. 14 15 16 17 18 19 20 21 22 23

[ Pregleda: 133210 | Odgovora: 455 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.adsl-surfen.hetnet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo21.11.2018. u 12:27 - pre 65 meseci
Hahaha dao si mi odlicnu ideju, posalji izlaz ponovo retini da cela stvar gleda samu "sebe".

Ako me ne bude mrzelo mozda to i implementiram :-)

Moze da se postavi kao umetnicko delo - "simulirani mozak gleda samog sebe".
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 2706



+700 Profil

icon Re: SpikeFun - Artificial Nervous System Demo21.11.2018. u 21:33 - pre 65 meseci
To je kao kad bi napravio simulaciju mozga koji posmatra i "razume" svoje okruženje (renderovano ili sa kamere), a onda mu ubaciš ogledalo u simulaciju :)

Savetovao bih da se smanji kvalitet grafike, ali da logika bude detaljnija i bogatija. Setimo se kvaliteta Google AI botova koji se nadmeću ko će prikupiti više jabuka, niti se vide botovi niti jabuke :)

Blessed are those who can laugh at themselves, for they shall never cease to be amused.
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.speed.planet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo22.11.2018. u 10:40 - pre 65 meseci
Graficki deo samo renderuje mrezu, kakva je mreza takva ce biti i grafika ;-)

DigiCortex je optimizovan za bioloski realizam, a takve mreze se jako tesko treniraju da rade ono sto zelis. Ako hoces AI koji zelis da istrenira da radi sta hoces, daleko bolji izbor danas su neuronske mreze druge generacije uvezane na nacin koji odgovara problemu (npr. CNN ili LSTM) obicno u vise slojeva koji se na kraju zavrsavaju sa nekim klasifikatorom.

U odnosu na bioloski sistem, vizualizacija cak i najguscih "deep learning" neuronskih mreza je jednostavna, ali to je zato sto su one napravljene tako da mi mozemo da ih treniramo. Cak i za tako, relativno govoreci, jednostavne mreze su potrebne hiljade GPU-ova ili TPU-ova koje koriste Google / Facebook za treniranje za neke ozbiljnije probleme tipa (relativno) pouzdano prepoznavanje govora.

Na zalost, za mreze slicne bioloskim neuronskim mrezama i dalje nemamo efikasan algoritam za treniranje, plus nedostaje gomila podataka vezana za rad sinapsi i nacin uvezivanja neurona da bi to moglo da se iskoristi za resavanje kompleksnih problema.

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.adsl-surfen.hetnet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo22.11.2018. u 22:09 - pre 65 meseci
Btw, sad sam sredio malo kod tako da vizualizacija radi i sa Mesa 3D softverskim OpenGL drajverom, tako da ce moci simulacije da trce i na masinama bez GPU-a ali sa enormnom kolicinom procesora i da nesto cak i renderuju :-)

Izbacio neke praistorijske Windows-only wglXXX() pozive za fontove, i to je to.

Bice u verziji 1.31 :-)
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.adsl-surfen.hetnet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo22.11.2018. u 22:31 - pre 65 meseci
Za kolege Linuxovce, v1.31 sa softverskim (Mesa 3D) OpenGL renderingom, tako da moze da trci u svakom jeftinom VM-u :-)




DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
Prikačeni fajlovi
 
Odgovor na temu

Shadowed
Vojvodina

Član broj: 649
Poruke: 12850



+4784 Profil

icon Re: SpikeFun - Artificial Nervous System Demo22.11.2018. u 23:08 - pre 65 meseci
Koliko softverski render usporava simulaciju?
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.adsl-surfen.hetnet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo22.11.2018. u 23:41 - pre 65 meseci
Nisam jos poterao neku ozbiljniju pa da ima nekog osetnog efekta, na malim simulacijama sa 100K neurona / 1.5 miliona sinapsi, hi-quality render uzme ~10% CPU-a (skoci na ~20% u FHD modu).

Moja ideja za sw. render je da se trci na masinama koje ili nemaju 3D akceleratore uopste (recimo velike GCP/AWS instance) ili imaju NVIDIA Tesla akceleratore u forsovanom TCC modu gde te kartice ne mogu da se koriste za render. Ideja bi bila, radis simulaciju na GPU-ovima a vizualizaciju na CPU-ovima sto je bizarno ali je jedan od nacina zaobilazenja NVIDIA-inih cudnih ogranicenja za cloud :-)
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

MajorFatal
Milija Jakic
opravljam oluke, 1337LAB
Bg

Član broj: 36595
Poruke: 1335
*.dynamic.isp.telekom.rs.



+559 Profil

icon Re: SpikeFun - Artificial Nervous System Demo23.11.2018. u 00:06 - pre 65 meseci
Nemam pojma ni o cemu pricas ni sta radi :) ali za neke slozenije rendere recimo oni sto prave 3D crtaće koriste " Render farme " a tih farmi ima i za iznajmljivanje pa mozda ti bude od pomoći npr: https://de.rebusfarm.net/en/?g...7uv6ej6jAtMAUAXuQaAoF6EALw_wcB
Nemoj da pricas?
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.speed.planet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo23.11.2018. u 11:50 - pre 65 meseci
Ako hoces da izrenderujes svaku sinapsu, moras za svaki frejm da povuces ~80 GB podataka. Moze da se optimizuje recimo da se fizicke promene na mrezi salju svakih N sekundi (mozda cak i na minut), a izmedju toga da se salju samo promene voltaze, sto je otprilike jedna 4096x4096 tekstura sa jednim 8-bitnim kanalom, sto je oko 16 GB po sekundi.

16 GB po sekundi (+ par stotina GB svakih par minuta) nije strasno, ali cela simulacija bi morala da radi offline u lock-stepu sa render farmom kako bi svaki frejm bio izrenderovan.

Moze to da se resi i u lokalu - tipa 7 GPU-ova budu Tesle u TCC modu koje rade racunanje, a 8-mi GPU bude Quadro/GeForce koji renderuje. Na zalost ni jedan Cloud provajder ne nudi takva resenja za sad (mozes da unajmis ili ciste GPU-ove za grafiku ili ciste Tesle koje mogu samo da racunaju).

Mislim da matori K80 i dalje moze da se koristi u isto vreme za racunanje i render na cloud-u (samo ako imas neki VNC klijent).

Moram da nateram da to sve lepo radi pod Linuxom posto je onda rentiranje na Amazonu, relativno jeftino - 8x NVIDIA K80 sa 64 vCPU-a i 416 GB RAM-a je ~$1.8 na sat, sa tim bi u teoriji mogli da se urade i duzi renderi za relativno male pare, pod uslovom da nateram multi-GPU akceleraciju i OpenGL rendering da rade na Linuxu :-)


DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.adsl-surfen.hetnet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo23.11.2018. u 16:12 - pre 65 meseci
@Shadowed,

Ok, evo resio sam da sad i na Linuxu moze da se renderuje softverski, samo treba uraditi ovo:

Code:

export LIBGL_ALWAYS_SOFTWARE=true
export GALLIUM_DRIVER=llvmpipe


Ovo ce naterati Mesa 3D GL implementaciju da crta sve softverski sa (valjda) njihovom najoptimalnijom sw. implementacijom (llvmpipe).

Performanse su, ocekivano, jadne i nesto mi ne izgleda da preterano iskoriscavaju vise jezgara (testirano na 16-core VMWare masini, top daje max %CPU od ~380, dakle mogu da uposle 4 jezgra za crtanje).

Ali ako nista drugo bar je moguce izrenderovati sliku na Linux masini koja nema nikakvu 3D akceleraciju, sto je i bila ideja :-)

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

MajorFatal
Milija Jakic
opravljam oluke, 1337LAB
Bg

Član broj: 36595
Poruke: 1335
*.dynamic.isp.telekom.rs.



+559 Profil

icon Re: SpikeFun - Artificial Nervous System Demo23.11.2018. u 16:29 - pre 65 meseci
A Makintoš? Kad ga "testiraju" pa se hvale ispada da scenu iz Bryce-a Mac na 500 Mhz izrenderuje tri puta brže nego PC na 3 Ghz?

I Bryce ti je zanimljiv program, poodavno je napravljen a neki ga i dan danas koriste i to samo za rendering umesto za ono za šta je namenjen, njegov netvork klijent je BryceLightening ili tako nekako.

U dosta programa max rezolucija tekstura je zakljucana na 4000x4000 piksela, a ti si se izrazio kompjuteraški (4096x4096) jesi li probao da popričaš sa nekim grafičarem ili nekim ko je više radio 3D programe, igrice, piksele, šedere...rendering je zahtevna operacija pa pretpostavljam da imaju neke svoje trikove kako rešavaju stvari.
Nemoj da pricas?
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.adsl-surfen.hetnet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo23.11.2018. u 16:50 - pre 65 meseci
Danas je 4096x4096 nista za teksture. Moderne graficke kartice podrzavaju mnogo vece teksture. Ako neki program ima 4000x4000 limit to je iz nekih sasvim drugih razloga, mozda istorijskih.

Npr. trenutne jace "kucne" NVIDIA graficke (a-la 1080) prijavljuju 32768x32768 kao max. velicinu teksture.

Uzgred, istorijski, 3D graficke kartice su prvo podrzavale samo 2^N velicinu tekstura a tek kasnije su dobile mogucnost podrzavanja tekstura dimenzija koje nisu 2^N. Naravno, ovo ogranicenje nikada nije kacilo softverske pakete koji su renderovali grafiku softverski.

Citat:

A Makintoš? Kad ga "testiraju" pa se hvale ispada da scenu iz Bryce-a Mac na 500 Mhz izrenderuje tri puta brže nego PC na 3 Ghz?


Nije brzina rendera uopste problem posto tolika simulacija i ovako i onako ne radi u realnom vremenu.

Problem je velicina grafickih objekata vs. kolicina video memorije koja zahteva od OpenGL drajvera da za jedan frejm uradi vise velikih DMA operacija zato sto ne moze kompletna scena da stane u VRAM. Dok graficki drajver radi DMA, graficka nije u stanju da opsluzuje Windows GUI (ako se koristi ista graficka za render i GUI).

Negde od Viste je Windows uveo neki watchdog tajmer koji detektuje situaciju da se graficki pozivi ne zavrsavaju u zadatom vremenu (default: 2 sekunde) i zbog toga je Windows kernel pokusavao da restartuje graficki drajver kao failsafe metod za crtanje sopstvenog GUI-ja. Registry hack koji sam pomenuo gore resava taj problem (po cenu da Windows GUI biva blokiran na po nekoliko sekundi svaki put kada drajver ubacuje / izbacuje deo scene).

Alternativno resenje je koriscenje druge graficke kartice za render simulacije, ili kompletan softverski render ako simulacija trci na hardveru bez 3D grafike.
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.speed.planet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo23.11.2018. u 21:56 - pre 65 meseci
Heh, moja ideja za jeftino trcanje sa renderom na Google Linux kantama sa puno CPU-ova je pala u vodu...

Problem #1 - Wine nije u stanju da prikaze Linux sistem sa >64 procesora kako treba mojoj Win32 aplikaciji:

Code:

[1811232150342] CPU has AVX512 Instruction Set - Enabling AVX512 Optimizations
[1811232150342] Number of detected CPU cores: 65 (logical: 65)


Lepo je da je sistem prepoznao Skylake. Ali losa vest je da je broj prijavljeni broj procesora totalno idiotski, takodje Wine ne prijavljuje ni da je sistem NUMA :-)

Trebalo bi da bude 96 procesora, podeljenih u 2 procesorske grupe (jedna sa 64 CPU-a, druga sa 32 CPU-a).

Wine iz nekog razloga ne prijavljuje procesorske grupe kako treba, pretpostavljam da to uopste nisu ni testirali posto verovatno malo kome treba (testiram wine-development verziju, Ubuntu 18.04). Mada mi nije jasno odakle broj 65... 64 bih i razumeo (da ne vidi uopste ostalih 32), ali 65...

Problem #2 - Mesa 3D softverski OpenGL ne radi preko VNC servera :(

Zali se da nema 64-bitni OpenGL drajver (mislio sam da oni to mogu da kompletno emuliraju u softveru)? U Windowsu Mesa moze da kompletno emulira OpenGL i na VMWare SVGA grafickoj bez 3D-a... izgleda da na Linuxu to nije bas tako jednostavno, verovatno zbog X servera.

Citao sam da moze da se nabudzi da OpenGL ide preko VNC-a... ali tutoriali su za 3D graficke, a meni treba kompletna sw. emulacija, tako da me mrzi da gubim sat-dva na kobasice i drndanje sa necim sto mozda i ne radi.

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.speed.planet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo23.11.2018. u 23:54 - pre 65 meseci
Zapravo quick&dirty resenje bi bilo da AWS ili Google daju da se na njihove mega masine sa 96/128 procesora moze poterati Windows Server trial verzija za testiranje. Onda bi cena "igranja" bila oko dolar na sat.

Sa Windows licencom cela ta stvar skoci na 5-6 dolara na sat + ako ti treba GPU...

Koliko vidim ima proces da mozes da "uneses" svoj VM, ali izgleda proveravaju da li je taj VM Windows (podrzani) i, ako jeste, deaktiviraju tvoju licencu i menjaju je sa njihovom koju naplacuju po taksimetru :)
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.speed.planet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo24.11.2018. u 23:36 - pre 65 meseci
Btw, bas sad proveravam skaliranje na 4xNUMA sisteme... radi sve kako treba :-)

Evo Xeon E7 8800 v3 makine, 4 NUMA noda, 128 logickih procesora, svi lepo zauzeti 100% kako treba :-)


DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
Prikačeni fajlovi
 
Odgovor na temu

MajorFatal
Milija Jakic
opravljam oluke, 1337LAB
Bg

Član broj: 36595
Poruke: 1335
*.dynamic.isp.telekom.rs.



+559 Profil

icon Re: SpikeFun - Artificial Nervous System Demo25.11.2018. u 00:43 - pre 65 meseci
Citat:
Ivan Dimkovic:
Danas je 4096x4096 nista za teksture. Moderne graficke kartice podrzavaju mnogo vece teksture. Ako neki program ima 4000x4000 limit to je iz nekih sasvim drugih razloga, mozda istorijskih


Možda, ali ako su više od dva programa u pitanju uključujući i fotošop i irfanview možda nisu istorijski razlozi nego zdravorazumski, znaš kako u igricama kod 60 fps se zaustave jer iznad toga ljudsko oko više ne može da primeti razliku, slično 4000x4000 je već tolika rezolucija da je dovoljno dobra za bilo kakve potrebe od postera do bilborda veličine zgrade, za većinu današnjih monitora 1024x768 je mislim savršeno dobro i slično za televizore, a fps 25 i 30, u bioskopu da li beše još manje tipa 12fps, a da smanjiš sa 4000 na 1024 to ti je 16 puta kraće vreme za render.

Ne znam čemu služi ta vizuelizacija, ali pretpostavljam da kako god da je uradiš svejedno nećemo moći da okom vidimo svih 16 miliona veza, sinapsi čega god?
Nemoj da pricas?
 
Odgovor na temu

Shadowed
Vojvodina

Član broj: 649
Poruke: 12850



+4784 Profil

icon Re: SpikeFun - Artificial Nervous System Demo25.11.2018. u 00:51 - pre 65 meseci
Mnoge igre koriste jednu ogromnu teksturu iz koje onda mapiraju delove umesto vise malih.
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.adsl-surfen.hetnet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo25.11.2018. u 09:44 - pre 65 meseci
Citat:
MajorFatal:
Citat:
Ivan Dimkovic:
Danas je 4096x4096 nista za teksture. Moderne graficke kartice podrzavaju mnogo vece teksture. Ako neki program ima 4000x4000 limit to je iz nekih sasvim drugih razloga, mozda istorijskih


Možda, ali ako su više od dva programa u pitanju uključujući i fotošop i irfanview možda nisu istorijski razlozi nego zdravorazumski, znaš kako u igricama kod 60 fps se zaustave jer iznad toga ljudsko oko više ne može da primeti razliku, slično 4000x4000 je već tolika rezolucija da je dovoljno dobra za bilo kakve potrebe od postera do bilborda veličine zgrade, za većinu današnjih monitora 1024x768 je mislim savršeno dobro i slično za televizore, a fps 25 i 30, u bioskopu da li beše još manje tipa 12fps, a da smanjiš sa 4000 na 1024 to ti je 16 puta kraće vreme za render.


Prvo, velicina teksture uopste ne utice na vreme rendera (tekstura se koristi samo za skladistenje voltaza a semplovanje teksture na bilo kom GPU-u iz proteklih 10+ godina je prakticno dzabe, cak dobijes i interpolaciju za dzabe :-) Ti ni u jednom momentu >ne vidis< ovde tu teksturu zato sto ona ne sadrzi podatke koji se renderuju.

Takodje, oko velicine (iako ovde to nema veze, kao sto rekoh), ti teksturi od 4000x4000 mozes u simulaciji gde se slobodno setas (recimo igrica) da se priblizis tako da je jedan piksel na teksturi mnogo veci na renderovanom poligonu, zar ne? :-) Naravno, za to postoje i dodatna resenja (visestruki nivoi detalja tj. MIP-mape) ali, u svakom slucaju, fakat da danasnja gejmerska NVIDIA prihvata 32768x32768 teksture dovoljno govori o tome kakve su potrebe igracke industrije, a profesionalna rendering industrija je obicno jos mnogo zahtevnija (zato sad imas ove nove QUADRO graficke sa po 48 GB VRAM-a).

Veruj mi, 4000x4000 kao tekstura je nista za danasnje GPU-ove. Ali bukvalno nista.

Druga stvar, kao sto Shadowed rece, cesto se kombinuje dosta asset-a u jednu teksturu kako bi se izbegli visestruki transferi na GPU. Svaki transfer iz sistemske memorije na GPU zahteva setanje iz userspace-a u kernel mod, stavljanje komandi u GPU komandni baferi, na kraju, izvrsavanje DMA operacije koja ce da povuce memoriju iz sistemskog u video RAM. Bolje to da uradis jednom (posto za svaku ovakvu operaciju gubis milisekunde), recimo na pocetku igrice, nego da to cepkas na mnogo malih operacija.

Sve u svemu, 4096x4096 za teksture je inkonsekventno.

Trece, velicina te teksture je potpuno nebitna za vreme rendera posto svi moderni GPU-ovi imaju hardverske teksturne jedinice, obicno mnogo njih (bar 8 komada vec N godina).

U ovom konkretnom slucaju je problem geometrija, zato sto se renderuje svaka sinapsa a njih ima puno i ne mogu da stanu u VRAM pa kartica mora za svaki frejm da "swapuje" 7 puta vecu kolicinu podataka od kompletnog VRAM-a.

Citat:

Ne znam čemu služi ta vizuelizacija, ali pretpostavljam da kako god da je uradiš svejedno nećemo moći da okom vidimo svih 16 miliona veza, sinapsi čega god?


Worst case.

I ako zumiras, nece se ni renderovati 4 milijarde sinapsi vec samo one koje se vide (doduse, shader pipeline ce i dalje morati da odbaci one koje se ne vide, sto nije skupo ali je problem sto ukupan broj prelazi kolicinu video memorije pa bi early-rejection morao da se radi na CPU strani)
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 2706



+700 Profil

icon Re: SpikeFun - Artificial Nervous System Demo25.11.2018. u 20:25 - pre 65 meseci
Apropo hardverske zahtevnosti, ima na YT dobrih primera sa Mandelbrot Fractal Zoom, ali mi ovaj nekako baš godi iako nije možda hardverski najzahtevniji od nekih drugih (na 2:30... hm): https://www.youtube.com/watch?v=aSg2Db3jF_4
Blessed are those who can laugh at themselves, for they shall never cease to be amused.
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.speed.planet.nl.



+7174 Profil

icon Re: SpikeFun - Artificial Nervous System Demo26.11.2018. u 14:25 - pre 65 meseci
Jos malo sitnih fix-eva u v1.32 - sada, uz mali trik je ponekad moguce trcati simulacije i sa vise od 4 milijardi sinapsi.

Kazem ponekad, zato sto je sada ogranicenje 4 milijarde sinapsi po jednom compute cvoru, sto je u praksi ili jedan NUMA nod.

Takodje, nova verzija ima fix za simulacije sa ukupnim brojem sinapsi vecim od 4 milijarde, zato sto je na par mesta u kontrolnom kodu limit bio 32-bitni integer, sto je izazivalo overflow i gresku prilikom validacije mreze. Uspesno sam testirao promene sa simulacijom od ~4.6 milijardi sinapsi na NUMA sistemu sa 2 noda i sve radi OK.

A sad upravo testiram v1.32 na ovim novim Amazonovim AMD EPYC instancama.

Zanimljivo je da najveca AWS AMD masina (r5a.24xlarge) sa AMD EPYC 7571 CPU-om ima 96 virtuelnih jezgara podeljenih u 6 NUMA nodova, tako da mi je to odlicna prilika da se i to proveri, posto do sad nisam imao prilike da testiram ni na cemu sa vise od 4 NUMA noda.
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

[es] :: Veštačka inteligencija :: SpikeFun - Artificial Nervous System Demo
(TOP topic, by Gojko Vujovic)
Strane: << < .. 14 15 16 17 18 19 20 21 22 23

[ Pregleda: 133210 | Odgovora: 455 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.