Gde vidite Intel-a za nekih 2 do 5 godina? :)

Ivan:"Na koje akceleratore mislis?"

Konkrtno na M1 neural engine :P
Cela fora je da se tu prvi put omogucuje da se procesiranje prenese na klijenta nego
da se vrsi komunikacija sa jakim serverima... no emfazis na ono neural.

A pa to ti je cela fora sa "Edge Computing" pristupom.

Apple je 100% iza tog pristupa zato sto se desilo da im je to odlican marketinski argument protiv Google uredjaja (ko je bio na skorijim CES-ovima pre pandemije je mogao da vidi ofanzivu. Od kada su postali ovo sto jesu, Apple jako retko koristi takve dogadjaje za komunikaciju ili promociju, ali u ovom slucaju je toliko poruka bila vazna da su morali da zakupe ogromne banere).

Edge Computing u ovom konktekstu mozes poceti od malih stvari, recimo lokalnom procesiranju tvojih AV podataka koji ostaju na masini/uredjaju.

Ali to moze da ode dosta daleko, gde na kraju potpuno sprecavas "server-side" da vidi tvoje originalne podatke, ili da na osnovu treniranja izvuce zakljucke koji bi odali neke tvoje personalne informacije.

Ovo drugo je mnogo teze za izvesti, ali ne i nemoguce. Ostaje da se vidi koliko je komercijalno bitno pa da se razviju biblioteke i alatke na nivou koji bi omogucio "Not Hotdog" app dev-ovima da to koriste. Bez toga, zaboravi potrosacko trziste, ta stvar je onda samo dostupna jako skupim projektima zato sto zahteva vrlo visok nivo ekspertize.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Ovo je jako dobra stvar. Prednost ovih metoda je sto training, jednom uradjen, moze u primenu mnogo jednostavnije. Arhitektura potreba jeste ista, taj "neural akcelerator" je samo skup mnogo jezgara koja lepo rade sa vektorima male preciznosti (vidi bfloat16), ali glavna prednost je sto kasnije primene (inference) traze mnogo manje resursa nego trening. Zato M1 i slicni nisu toliko pogodni za trening (nemaju kapacitete), ali su super za obradu podataka sa jednom istreniranom mrezom - u koju si "presuo" potrebnu konfiguraciju.

Glavna prednost je upravo ovo sto Ivan spominje: data ne ide nigde gde neko drugi moze da vidi podatke. Ovo je jako velika stvar za npr. bolnice, advokatske kancelarije, uopste mesta osetljiva na privatnost gde bi data breach kosta mnogo.

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

https://www.anandtech.com/show...-on-posts-photo-of-server-chip

Raja pokazuje svoj mali projekat :-)



Holy mother of...

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Sta je ovo... Foveros, 7nm spakovano... sta? 2xXeon, 6xXe, brdo neko HBM memorije, Rambo kes.... sta je ovo sve? Je'l ima neko pojasnjenje ili je samo "lepa slika"?

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Samo sam na WC-u našao detalje, tako da je daleko od tačnih informacija :D
https://wccftech.com/intel-7nm-xe-hpc-gpu-diagram-ponte-vecchio/

Heh, morao bih da te ubjem ako ti kazem hahaha :) Sve sto ja mogu da kazem je - da koliko znam, "koliko snage treba" nece biti problema - u svim mogucim interpretacijama ove izjave haha :)

Secas se ovog leak-a od prosle godine?

https://www.digitaltrends.com/...p-tile-architecture-exclusive/ :)

Ponte Vecchio je HPC varijanta ovoga. Ona 2 modela na dnu su ono sto treba da te inspirise :) Sto je najludje - ovo sto Raja pokazuje na slici je 2-tile varijanta, dok je "if money was no object" varijanta 4-tile - za to ce mu trebati pomocnik da pridrzava :-)

Nadam se da su proverili osigurace u Intelu pre nego sto krenu u power-on testiranje. Mada, to je sve vidjeno za Aurora superracunar. Argonne National Labs verovatno nemaju problem sa drzanjem opreme na kakvoj god temperaturi zelis (sta ti treba? Ima solucija za od blizu 0 K do nekoliko miliona K :-).

Praksa u industriji je da neko vreme pre prvog power-on testa, partneri vec imaju termalne uzorke (koji izgledaju isto kao i prava stvar - cak se i greju isto, ali to je sve sto mogu da rade - otprilike kao veliki otpornik :-) - pre toga su kompletirane mehanicke i termalne specifiikacije kako bi OEM-i krenuli da testiraju svoje termalne i mehanicke komponente za buduce servere.

E sad zamisli amperaze za ovo - kao sto rekoh, osiguraci :))) I, naravno, ko god misli da je, recimo da je onaj leak tacan, 500W po socketu "OK" - zaboravili ste par sitnica. Tih 500W nece sami od sebe da se voze... regulatori voltaze ima da cepaju bar par desetina W, HBM mozda nece puno al 'vala mora bar oko 10W :)

Onda zamisli 4 ili 8 komada ovoga u serveru + procesori (joj) + I/O + CPU memorija - i postaje jasno odakle "48V" napajanje u specifikaciji: takav sistem >ne moze< da radi na "potrosackom" prikljucku za elektricnu energiju :)

--

Naravno veliko pitanje je STA ce Intel strpati u ovo po pitanju compute performansi. NVIDIA ne stoji u mestu. Izgleda ce 500W postati novi 350W (a 350W je tek postao novi 200W :-)

Ali jedno je sigurno, polako ce jedino moguce mesto za ove masine biti "Cloud" - iz prostog razloga sto vecina ljudi nece zeleti ili moci da obezbedi elektriku i hladjenje za ovo.

Iskreno, neka buduca HPC kutija koja ima TDP od 5-6 kW i PMAX od 15-tak kW (toliko moras da budes u stanju da dostavis u instant-u) bukvalno postaje druga klasa opreme sto se odrzavanja tice. Naslazi gomilu takvih kutija, i moraces da uradis temeljnu inspekciju i upgrade elektricne i protivpozarne instalacije.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

@Bane,

Ako si mislio da je AVX-512 za*ban sto se potrosnje tice - samo cekaj da vidis AMX :-)

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Sad prvi put cujem od tebe za AMX, zardjao sam :P

https://fuse.wikichip.org/news...to-debut-with-sapphire-rapids/

Novi registri, nove instrukcije i novi klok ofseti :-))

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Auh, sta ce AMD sa ovim? Mislim ono Intel jeste da kuburi sa procesom, ali su daleko inventivniji od AMD-a glede
instrukcija. Rad sa matricama u asembleru, mmmmmmmmmmmmmm

Sta ce AMD sa tim? Verovatno nista, kao sto nista nisu uradili ni sa AVX-512.

Doduse AMX je jednostavniji - malo instrukcija. Ali, sa druge strane, kad ti povuce struje sa VR-ova ima da primetis :-)



Hahahaha citam ovo k'o da pise "Rad u moskvicu u Arizoni u podne, mmmmmmmmmmmmmm". Ali 'ajd, svako ima svoju zabavu.

Samo sacekaj da krenu da ti stizu delovi pa da vidis kako stvari stoje sa taktom procesora kad raspalis tvoj asembler na svim jezgrima :)

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Matrice imaju vrlo široku primenu. Opisuju linearna preslikavanja, koja ne samo da postoje (u geometriji se transformacije do projektivnih opisuju matricama), nego predstavljaju i prve aproksimacije nelinearnih transformacija.

Ako to neko ubrza, po cenu nekog broja tranzistora, ne vidim ništa sporno tome.

Druga bi stvar bila trpanje nečega što malo kome treba, a traži dosta tranzistora/enegrije/čega god.

Koliko vidim, AVX-512 ima primenu u veštačkoj inteligenciji. Samo čekam da se NNUE tehnologija proširi van šaha na druge oblasti.

Potpis

Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.

I AVX-512 i AMX i šta već ubace, će imati primenu kada neko ko pravi softver zaključi da je to najbolje rešenje za njegov problem. Što će se uz postojeće akceleratore (GPU, FPGA, kojekakvi ASIC čipovi), koji su na tržištu godinama, desiti nikad.

Jedino ako Intel ponudi okruženje u kom ćeš moći da razvijaš šta ti treba, bez obzira na (Intel) hardver koji ćeš koristiti. Što mi se čini i da rade sa oneAPI projektom. Ali mislim da to neće skoro zaživeti

Svemirsko:"I AVX-512 i AMX i šta već ubace, će imati primenu kada neko ko pravi softver zaključi da je to najbolje rešenje za njegov problem. Što će se uz postojeće akceleratore (GPU, FPGA, kojekakvi ASIC čipovi), koji su na tržištu godinama, desiti nikad."

AVX 512 ima ograniceni broj cipova. Razvijati nesto i ulagati novac i trud smo za mali broj cipova se ne isplati. To je glavni razlog.
Osim naravno ako ne pravis specijalizovano i imas masinu sa ovim feature-ima.
Za sve ostale je flag -march=native :P

@Nedeljko,

"Primena" nije dovoljan motivator. Treba ti i kolicina masina kojima ta primena treba da bi nesto planirao.

Npr. ideja da se AVX-512 ubaci u Cannon Lake i kasnije laptop cipove je cisto ludilo. Opravdano mozda pre nego sto je Intel stao sa inovacijom procesa izrade, a sad...

AMX isto tako - ocigledno je da ima smisla u cipovima koji ce se koristiti za AI treniranje, obradu signala (naucnu npr.) i sl. - sto znaci "workstation" i "HPC" modele Xeon-a.

Za ostale masine?

Pa postavi pitanje zasto bi trziste placalo bacene tranzistore za nesto od cega <1% ima korist? Suludo.

@Space Beer,

Ponudice Intel svakako. Broj ljudi koji pisu bilo sta za AVX-512 ili, uskoro, AMX u asembleru je na nivou statisticke greske.

Vecina ako hoce to da koristi, trazice matematicku, AI ili DSP biblioteku koja vec to ima unutra.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Ivan:"Broj ljudi koji pisu bilo sta za AVX-512 ili, uskoro, AMX u asembleru je na nivou statisticke greske."

Mada je asembler najbolji nacin da se do maksimuma iskoriste ove istrukcije, Intel napravi biblioteku i intrinsice
koje implementiraju bar tri kompajlera ;)
Za one koji nece da se bakcu instrinsicima tu je uvek -march=native ;)

Rekao sam da matrice imaju vrlo široku primenu, tako da... uslov masovnosti koji naglašavaš je ispunjen.

Potpis

Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.

Ne to nije odgovor.

AMX ima smisla ako daje konkretna ubrzanja kodu koji koristi matrice. Sto zahteva da podaci i upotreba upadaju u zonu gde AMX daje poboljsanja u odnosu na "klasicni" AVX/AVX2 ili AVX-512, ili cak SSE ili FPU.

AVX2 je bio relativno jednostavna prodaja - "sjedinjeno mnozenje i sabiranje" je ocigledno stvar sa sirokom primenom, plus nije neki enorman problem raditi sa vektorima duzine koju AVX2 podrzava. Ali cak i tad broj aplikacija koje izuzetno dobijaju na performansama nije enorman.

AVX-512 je primer daleko vece specijalizacije. Kod koji moze da iskoristi AVX-512 je mnoooogo redji od koda koji iskoriscava AVX2 (i koji vec u startu nije toliko zastupljen) - pa ti vidi sta se na kraju desi.

Evo AMD zivi bez ikakvih problema bez AVX-512.

AMX, sa druge strane, je zapravo jednostavniji - radi se o 12 instrukcija. Plus, naravno, TMUL jedinice.

Ako se zeli postici pik performansi, bice dovoljno TMUL-ova koji ce biti furuna ako ih drzis 100% zauzetim.

Pitanje je da li to ima opravdanja (komercijalnog).

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Ivan:'"Evo AMD zivi bez ikakvih problema bez AVX-512."

Pa da. Do DDR5, kad ce i oni morati nesto da urade po tom pitanju....