Citat:
nkrgovic:
Inace, ono sto je meni jako zanimljivo kad je cloud i AI inference u pitanju: Sve vise IoT AI uredjaja ne koristi cloud, vec aplikaciju na mobilnom uredjaju. Razne "spravice" nemaju resurse za AI, za internet koriste bluetooth pa tethering na telefon, ali, da bi smanjili latenciju, svoj compute za inference rade na mobilnom. Ovo je jos jedan od razloga zasto je inference akcelerator tako bitan... Kad vec pomenusmo Atom.
Pazi, svaki ARM-ic za par godina ce imati posten TPU.
Apple-ov je monstruozan, ali ne treba ti ni delic toga za gomilu IOT aplikacija.
Fantasticno je da Intel, koji je kupio firmu za ovo pre nekoliko godina - jos nije uspeo to da integrise. Ne samo to, nego su batalili tu firmu i kupili novu. Ono...
Sto se Tremont-a tice i novih trendova "Compute na banderi", to je buduce ludacko trziste (Amazon AWS Wavelength zone, hello?). Kako ce Intel tu proci, videcemo. Morali bi debelo da promene stav "mi znamo najbolje" i da slusaju sta treba operaterima i provajderima.
Ovo ih je ubilo sa mobilnim telefonima: dok im je cela industrija pricala da moraju da integrisu stvari na SoC, Intel je isao sa stavom "pojma vi nemate" i nudio im... CIPSET (Atom CPU + I/O Hub + 5G / WiFi Radio + RAM, k'o lego kockice :-). Nisu hteli da otvaraju fab-ove i ceo proces za integraciju 3rd party IP-a. Industrija im rekla "OK then", i nastavila da koristi ARM.
Ovde ce isto da ih savataju sa zahtevima za bog te pita sta - jel moze FPGA ovaj, jel moze fabric onaj, ajd integrisite i ovaj 5G IP treba za brzi SDN... ako za sve odgovor bude bio "cut bre mali, evo ti CPU" opet ce da se desi isto - najveci operateri ce napraviti svoje cipove, bas kao sto Amazon to radi sada.
Citat:
Branimir Maksimovic
Hm, pa sto onda ubise AVX? Ili prave samo specijalizovani instruction set?
AI inference akcelerator ima da tuce AVX i trci krugove oko njega, kao i oko GPU-a - zato sto je samo napravljen za to :-)
Citat:
Kad radis sa kompajlerom lako je, ali onda moras da kompajliras na procesoru, sto nije problem za open source.
E sad za close source jeste problem posto moras specificno da detektujes podrzane instrukcije, i postavlja se pitanje
da li se trosak isplati?
Pa to ti kazem, ko ce se *ebava sa svim tim - malo ko.
Plus ovo samom Intelu komplikuje zivot. Kapiram ja sto su to radili pre 20+ godina ali danas... neko mora da kaze toj ekipi da je veca steta to sto rade nego bilo kakva prednost koju zamisljaju da prave (i koja ne postoji).
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos:
http://www.digicortex.net/node/17 Gallery:
http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! -
https://github.com/psyq321/PowerMonkey