Gde vidite Intel-a za nekih 2 do 5 godina? :)

Stvarno bi voleo da prokomentarise neko ko zna matematiku vise od mene. :) Uglavnom:

Akko je neuronska mreza ekvivalent slozenoj funkciji fuyzzy logike, onda mozemo posmatrati prakticne implementacije tih mreza (recimo u skladu sa onime sto se danas koristi, npr. za prepoznavanje slika) samo kao prakticnu implementaciju ciste matematike. Drugim recima, sistemi zasnovani na "neuronskim mrezama" (TensorFlow) bi bile cisto matematicke apstrakcije, a implementacija "neurona" bi se dala posmatrati kao "desing pattern" i nista vise. Nema nijednog razloga zasto bi se tome moralo dodavati neka "bioloska" ili "metafizicka" dimenzija - nista vise nego sto zamisljam pcele i kosnice kad koristimo heksagonalni pattern ("ports and adapters").

Cinjenica da ignorisemo biohemijsku komponentu biosloskih mozgova, tj. njihovih neurona ide u prilog ovome.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Pa, važi

,

pri čemu se uvek traži što uža klasa kojoj složenost nekog algoritma pripada.

Konkretno, radilo se o algoritmu kome ulazni podatak predstavljauju dva trenutka u XX veku sa tačnošću od 1s, pri čemu je prvi navedeni trenutak vremenski pre drugog.

Pošto je skup mogućih vrednosti na ulazu konačan, možemo zaključiti da među njima postoji neki koji predstavja najgori slučaj i on se izvršava za neko vreme T, pa se algoritam za svaki ulaz izvršava za vreme ne veće od T, što znači da algoritam ima vremensku složenost O(1) (ali ne i o(1)).

To je jednostavno opšte svojstvo svih zaustavljivih procedura koje na ulazu prihvataju konačno mnogo različitih vrednosti.

Branimir Maksimović je napisao kod koji je zaista brži od mog, ali on ne razume da je iz navedenog razloga razlika u brzini do na konstantan faktor.

Kviz pitanje: Postoji li programski kod sa vremenskom složenošću o(1) (obratiti pažnju da je slovo "o" malo, a ne veliko)?

Potpis

Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.

Da probam ja.

Neuronska mreža je ekvivalent Tjuringove mašine, koja je ekvivalent složenim fazi funkcijama.

E, sad, bitne su i performanse, čak i do na konstantan faktor. Takođe, bitne su i uštede na trošenju ljudskih mozgova za uočavanje sumanutih zakonitosnti, ako se to može dobiti mašinskim učenjem.

Potpis

Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.

Nije to bila poenta - poenta je da ne treba razmisljati o neuronskim mrezama u kontekstu biologoije, to je sve. Bila je incijalna inspiracija, OK, danas je samo softver kao svaki drugi. To je sve.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Naravno. Zato ga i pitam zašto (po njegovom) nešto što pripada široj klasi ne bi moglo istovremeno da pripada i užoj.

Potpis

Ljubičice crvena, što si plava kô zelena trava.

Uvek se traži najuža klasa kojoj pripada.

Dakle, ako je složenost algoritma, onda se traži što jednostavnija funkcija takva da je .

Potpis

Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.

Znas kako, eto kojim slucajem je ovaj o(logn) isto o(1), ali je eto kojim slucajem sporiji. Nemoj i ti da se blamiras.

Kako da ne razmisljas u kontekstu biologije kad se zovu neuroneske mreze?

Isto kao sto ne razmisljam u kontekstu pcela za heksagonalnu arhitekturu? :)

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Cuj, princip je identican kao kod neurona. Imas ulazni vektor imas f-ju (koja je kljucna) i imas izlaz. Izgleda kao neuron, cak imas i slojeve
pa kad ima vise slojeva onda se zove "deep".

Bioloska dimenzija je isto matematika - samo si dodao vremensku dimenziju, nelinearno ponasanje i mnogo veci broj parametara (drasticno).

Moc neuronskih mreza je u mrezi ne toliko u individualnim elementima. Turingova masina moze da uradi sve sto i bilo koja ANN mreza. Prednost ANN mreza je u nadgledanom treniranju koje omogucava da se pronadje aproksimacija funkcija za koje bi nam trebalo mnogo vise vremena da ih sami pronadjemo.

Secas se koliko je klasifikacija slika bila problem, kada je "AI" bio zapravo rukom-programirani AI, sa gomilom pravila i koeficijenata koje smo "stelovali".

Onda je hardver postao mnogo jaci, desio se GPU kao fenomen i samo za nekoliko godina su duboke mreze zavladale materijom sa tacnoscu visom od coveka.

--

U slucaju ANN, individualni elementi su brojevi (tezine) - sto je totalna karikatura u odnosu na bioloski nervni sistem gde je svaki neuron bukvalno forma zivota.

Znaci umesto jedne tacke kojoj je dodeljen broj, imas sistem koji se sastoji od stotina miliona molekula, kompleksnim interakcijama proteina kao modulatorima elektricnih karakteristika, par desetina hiljada veza sa drugim neuronima.

Uvek mozes da nadjes lepe slike gde sistem sa 2 diferencijalne jednacine predvidja ~95% "okidanja" pravog neurona. Ali da li su tih 95% bitni? Sta ako dodamo druge prirodne efekte, itd. Da li ce to da "radi"?

Naravno, za neke od pravih neurona smo nasli da su u stvari jako dobri filteri, grupe neurona rade kao banke filtera, druge grupe rade "soft winner takes all" glasanje...

Lepo je sve to - ali da li je to SVE sto ti neuroni rade, ili je to ponasanje samo posledica nekih fundamentalnijih procesa koje ne razumemo.



Mogu da ti garantujem da vecina DL istrazivaca i svakako svi programeri ne razmisljaju "u kontekstu biologije".

DL mreze su ANN mreze (druga generacija) - osim imena i nekih slicnosti na nivou crtanog filma, sve ostalo je cista matematika.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Kakva crna biologija, sve je relativno jednostavan matis.
Vise je fora, prepoznati koji model primeniti u odnosu na podatke.

Nisam ekspert u oblasti, ali po nesto i znam. Ranije (pre 20+ godina) sam koristio linearnu regresiju i regresiju polinomom n-tog stepena, da bi tablice dobijene eksperimentalnim putem sveo na funkciju. Provera te funkcije preko r^2 testa, ako se secam. Tako se proverava tacnost izabrane f-ije u odnosu na podatke/uzorak ili kao bi danas zvali trening podatke.

Takodje, pre bilo kakavog petljanja za neuronskim mrezama, provero bi mogucnost primene:
- linearna ili pol. regresija
- decision tree
- random forest
- bayes
- itd. itd..
- neuronske mreze

Kod neuronskih mreža ogroman problem je "treniranje", odnosno pošto se radi o ogromnom broju jednačina (znamo ulaz, znamo izlaz, treba podesiti sve parametre čvorova tako da te jednačine budu što tačnije u što većem broju slučajeva).

U drugom video ovog kratkog tutorijala: https://www.youtube.com/playli...QObOWTQDNU6R1_67000Dx_ZCJB-3pi
negde na 5-6. minutu diskutuje se o problemu nalaženja minimuma funkcije. Kad funkcija ima jedan minimum, kao što je parabola, sve je jednostavno, ali šta ako funkcija ima više lokalnih minimuma i maksimuma?

Drugi problem je kod funkcija koje imaju ogroman broj nezavisno promenljivih (npr. 10.000), nalaženje minimuma nije baš tako jednostavno, u pomenutom video počinje od 7. minuta, (npr. površ u prostoru) nije tako jednostavno, jer nalaženje nekog minimuma funkcije ne znači da smo našli minimum, možda je u pitanju lokalni minimum, pa moramo pretražiti i druge oblasti definisanosti funkcije.
Međutim, kod dvodimenzione funkcije nije problem pretražiti neku oblast za minimumom, ali ako je u pitanju funkcija 10.000 promenljivih...

Za bilo koji realan primer potrebna je ogromna procesorska snaga... Eto, Google je uspeo da svoju General-purpose NN istrenira za rešavanje raznih problema, između ostalih i AlphaZero koji je za najviše 24 sata dostigao "superhuman" nivo... pa, jeste, kad su mu dali ceo data centar!
A kad pogledamo cene grafičkih kartica za ovu namenu, jedna nova Tesla A100 kartica sa 80GB je reda 10k dolara, a sa jednom teško da se može rešiti bilo kakav real-world problem, osim igranja sa prepoznavanjem sličica i sl.


Pošto je tema Intel, ostaje da vidimo da li će oni napraviti neki korak po ovom pitanju, jer nVidia je stvarno bezobrazna sa cenama kad su u pitanju kartice koje oni kategorišu kao za "grafičke radne stanice" (Quadro) i "AI" (A100/V100 i ekvivalentne). Jeste da te kartice imaju neke svoje adute (npr. Quadro RTX imaju 10 i više puta bržu memoriju, dok ove za AI imaju 10-15 puta širu memorijsku magistralu i više memorije), ali je pitanje da li to vredi 2-5 puta više novca? Pošto sigurno ne vredi, oni su lepo preko EULA ograničili upotrebu desktop kartica za "data center" primenu (ma šta im to značilo, na prvi pogled je očigledno, ali sa pravne strane i nije baš tako)... tako da za te primene umesto npr. 3090 ipak ćete morati da date "malo" više para za neku "data canter aproved" karticu :)

Potpis

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

dejanet:" Ranije (pre 20+ godina) sam koristio linearnu regresiju i regresiju polinomom n-tog stepena,"

Pre 20 godina ML nije bio aktuelan iako je to jos iz 60ih. Sve je pocelo sa terminom "Deep" learning, da bi se sad uvrezio termin "ML",
i generalno se odnosi na neuronske mreze.

Branimiru ne vredi pokazivati skripte koje pokazuju suprotno - da su neuronske mreže samo jedan od pristupa u mašinskom učenju.

Ali, šta očekivati od nekoga ko ne razume šta je to ubrzanje do na konstantan faktor.

Potpis

Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.

@mjanjic,

Nije to nista. Probaj sad sve to da zamislis, a da nisi ogranicen na neprekidne funkcije :-) To ti je slucaj sa tzv. "spiking" neuronskim mrezama ciji "siljak" ide u beskonacnost. Backprop. ce imati malo problema sa ovim :-)

Naravno, mozemo se dogovoriti da "siljak" smatramo za sum i uklonimo iz signala, ali su rezultati prilcno jadni u odnosu na ANN stanja nauke.

Za bilo kakve napredne primene, treniranje kao problem sa takvim mrezama je potpuno neresen problem.



Whaaaat? :)

Da si ti ziv i zdrav, ML se koristio ohoho, samo sto ga ti nisi video.

Mogucnosti su generalno bile mnogo manje od DL, ali daleko od toga da nije bilo siroke primene.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Ivan:"Da si ti ziv i zdrav, ML se koristio ohoho, samo sto ga ti nisi video."

Nisi ni ti. AI je bio hladan i pre 15 godina. Tek od skora je pocelo da se ulaze u to.
80ih je dosta ulagano u ekspertske sisteme koji su se pokazali kao corak takodje.
Onda je dosla zima, nista od strong AI-ja do 2000, pa se ML povampirio ponovo,
zahvaljujuci procesorskoj snazi i propalim brain projektima prve polovine 2000ih...

Prilicno sam siguran da sam ga video, na primer tamo negde pocetkom 2000-tih sam koristio alatku koja je koristila ANN za testiranje kvaliteta zvuka.

Kolega je ANN zamenio sa SVM, dobili smo jos bolje rezultate.



Ne znam o kom tacno periodu pricas. Do kvantnog skoka je doslo sa AlexNet-om 2012-te godine, koji je bukvalno preko noci promenio polje racunarske vizije. Sam AlexNet rad je danas najvise citirani rad u polju racunarske vizije (2020: >70000 citata).

AlexNet je omogucila CUDA, tj. GPU kao uredjaj za racunanje. Revolucija je pocela krajem 2006-te.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Nego ti CPU/GPU akceleratori za ML, za sta su, setih se sad ;)
Za neural net or what?

Ivan:"AlexNet je omogucila CUDA, tj. GPU kao uredjaj za racunanje. Revolucija je pocela krajem 2006-te."

Ne bih bas rekao da je tad. Ja sam se u to vreme palio na neural net i mislio da ce to da napravi boom
a savremenici su me pljuvali :P

Na koje akceleratore mislis?

Na ove mini-TPU blokice kao u A16? Za svasta lokalno tipa: novih filtera za post-procesiranje slika ili videa, mozda cak i neku identifikaciju lica (Apple to radi sa Face ID) ili klasifikaciju fotki mada za to obicno ili nema dovoljno podataka ili se radi u cloud-u.

Naravno, ne treba zaboraviti i konverziju zivog coveka u animoji i sl. :-)

Ako mislis na "tenzor" jezgra na GPU-u kao npr. NVIDIA Volta/Turing/Ampere - ista prica, samo jos vece performanse. To znaci profesionalnu primenu (audio/video) ili jos bolje efekte super-rezolucije, uklanjanja suma, itd.

Naravno, ako si AI developer - nije lose to sto mozes na brzaka da doradis treniranje modela ili da od nule istreniras nesto brzo radi rapidnog testiranja.



Pa zavisi gde si bio, sta si radio...

Kad je AlexNet pobedio na ILSVRC-u 2012-te, jaz izmedju je bio toliki da je ljudima u toj struci (computer vision) bilo jasno da je pocela nova era.

https://qz.com/1034972/the-dat...search-and-possibly-the-world/



Bilo je potrebno par godina da stvar dodje do mainstream-a - ali bukvalno za manje od 10 godina od tada je svet vec bio potpuno drugaciji. Od nemoguce misije smo dosli do real-time klasifikacije objekata koja moze da trci na Smartwatch-u, ili real-time detekciju/identifikaciju koja je vec instalirana na bog te pita koliko mesta.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey