@Bane,
Hajde da se zadrzimo na "DL" - sto Nedeljko rece, AI/ML je mnogo vise od toga.
Da li mozes da mi kazes koju biologiju imitiraju Transformeri? Ili GAN? Da li si mozda pogledao skoro pobednike klasicnih AI izazova i mreze na kojima su zasnovani?
Samo su rani uspesni modeli korisceni u prepoznavanju slika (AlexNet i drugari) bili
INSPIRISANI bioloskim kolima, ali ta inspiracija je otprilike samo porvrsinska da potpuno nebitna za pravi posao.
Na primer, pomenuti AlexNet, kao i dosta kasnijih mreza vezanih za procesiranje vizuelnih podataka su izgradjeni na osnovu proizvoljno probranog ogranicenog znanja o vizuelnom sistemu u CNS. Ali te slicnosti su bukvalno na nivou pitce i aviona - da, i ptica i avion lete, mozda cak i lice fizicki kada ih gledas kao cele objekte ali tu se slicnosti zavrsavaju. Mozes da kazes da je avion "inspirisan pticama" ali je realizacija komplet drugacija.
Na primer:
- Ljudi su probrali nekoliko karakteristika vizuelnog CNS-a koje poznajemo, uzeli ih za tacne i proglasili ih za kljucne
Hoces dozu realnosti?
Ne znamo sta radi >90% neurona u V1 primarnom vizuelnom korteksu. Takodje, jos niko nije zadovoljavajuce objasnio kako cela stvar funkcionise znajuci da su sinapse talamickih neurona (koji nose "signal" iz oka) takodje jednocifren % sinapsi u V1.
Stani malo i zamisli situaciju: niti znamo sta radi 9 od 10 neurona
u najdetaljnije proucavanom delu neokorteksa (!), plus "kablovi iz oka" cine 1 od 10 prikljucaka u toj nepoznatoj dzungli :-)
Mi volimo da kategorizujemo stvari, pa smo ovaj drugi problem delimicno adresirali sa modelom talamickih sinapsi "vodica" i "modulatora". Tako 10% LGN sinapsi postaju dominantne i mogu da prenose signal zato sto su "vodici" a ostala boranija su modulatori. Izabrali smo 2 komada za tipove sinapsi, volimo tako.
Ali sto 2 jbt? Sto ne 3 ili 33? I da li imamo dokaz da ovo uvek vazi a ne samo u ono malo neurona sto smo odabrali (zato sto se ponasaju kako mi ocekujemo - eto ti odmah vec fatalne greske) umesto sto smo ih odbacili sa "daju sum, ne mozemo citati rezultat" :-) Problem sa svim tim modelima je sto ne mogu da objasne konacan rezultat (ne nuzno zato sto su pogresni, nego zato sto nisu dovoljni).
- Nacin na koji DL "uci" nema nikakve veze sa nacinom na koji CNS "uci"
Geoffrey Hinton, jedan od najuticajnijih AI istrazivaca, ima dosta materijala na tu temu:
https://bdtechtalks.com/2020/0...ey-hinton-convnets-cnn-limits/
DL cesto koristi backprop i ima sasvim drugaciji odnos izmedju broja "sinapsi" (parametara) i kolicine informacija koje udju za vreme treniranja.
Sa druge strane, CNS oclgledno koristi nenadgledano ucenje koje trci paralelno sa zakljucivanjem (duh), "algoritam" jos nije poznat ali se nazire da u tome ucestvuje daleko veci broj "alatki".
Konacno, i to je jedna od stvari koju Hinton cesto pominje: uzmi broj sinapsi u CNS-u, izrazi njihov kapacitet za skladistenje informacija na neki od poznatih nacina, pomnozi to sa brojem neurona - doci ces do kolicine koja je, jednostavno, apsolutno neuporediva sa bilo cim sta mi imamo. CNS bukvalno ima "mesta" da uskladisti astronomski broj informacija, ukljucujuci i komplet signal 24/7 koji dobija iz senzora. Druga je prica da li te podatke onda uopste moze da koristi, ali kapacitet postoji. Raznolikost neurona i situacije gde na neki deo signala reaguje jako mali broj istih pokazuju da priroda i te kako koristi sve te neurone, a samim tim i njihove kapacitete skladistenja informacija.
--
Ali mozes i da obrises sve ovo gore, da kazes "slozili smo se da je to imitacija mozga" (iako nije niti moze da bude) bukvalno vec vise godina nove mreze nisu ni "inspirisane" CNS-om vec su razvijene sa nasim problemima kao primarnim faktorom u modeliranju.
Situacija je postala cak i obrnuta - sada imas istrazivace koji traze bioloske korelate za backprop u mozgu, ili cak trazenje da li mozak koristi nesto slicno odredjenim novim mrezama koje smo otkrili.
Bez obzira da li je bilo sta od toga tacno ili ne (za backprop, iskreno sumnjam) - to dokazuje da nismo nikako mogli biti "inspirisani" kad sad pokusavamo da nadjemo da "inspiracija" mozda ne koristi ono sto je nama palo na pamet.
Citat:
No AI ako zelis da radi nesto korisno, nece se na tome zasnivati...
Ako imas neki noviji telefon, koristis Internet servise, napravio si neku fotografiju na modernom uredjaju - bukvalno za svaku tvoju operaciju ili zahtev, u pozadini imas neki AI. AI ocigledno i te kako radi vrlo korisne stvari.
Bas stvari za koje je i napravljen.
AI nije napravljen da p*di dok jede cips i gleda Netflix, za to cemo morati da se nacekamo.
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos:
http://www.digicortex.net/node/17 Gallery:
http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! -
https://github.com/psyq321/PowerMonkey