Čim legnu pare od države, odma kupujem ovakvu ili sličnu "igračku" :-)

Upravo tako.

Problem ovih novih jakih desktop procesora je sto imaju jako malu 'plocicu' (po povrsini) a umeju da povuku par stotina W u "piku" - sto pravi veliki izazov za evakuaciju te toplote.

Serverski / HEDT procesori nemaju taj problem (bar ne u tolikoj meri), cak i kada su nominalno vece snage.

Primer, Raptor Lake (RPL) plocica je 23.8 x 10.8 mm = 257,04 mm^2
Sapphire Rapids (SPR) plocica je 1510 mm^2 (zapravo 4 plocice povezane EMIB interkonektom)

SPR ima veci TDP i PMAX, ali zbog mnogo vece povrsine to nije nikakav problem za propisno hladjenje - cak je uobicajeno da se hlade na vazduh u vecini implementacija (ok, to vazdusno hladjenje nije nesto sto bi drzao u dnevnoj sobi, ali i dalje je vazdusno :-)

Sa druge strane, ako hoces da teras top-end RPL na maksimumu snage, ili cak jos i overclock-ujes - AIO je minimum, a posteno "custom" vodeno hladjenje je preporuka, upravo zbog jako koncentrovane toplote koju pravi.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Ivane,
Zahvaljujem Ti se na ovako dobrim, korisnim informacijama
iz praktičnog dela hardverskih Tip & Tricks tema.

Nadam se da nisam naporan.
Čisto opušteno "čavrljamo" ( kada se ima vremena)
o nekim sitnicama koje elektronici u računarima zivot znace.
-------------------------------------------------

Stvarno nisam znao, nisam ni pretpostavio da
procesori u mocnom/jakom DeskTop-u i u Severu nisu isti, ili makar slicni?

Zahvaljujuci ljudima koji nesebicno zele da podele svoje znanje,
svaki dan naucimo nesto novo, korisno i prakticno iz oblasti:

- "Motherboard ... how to do this and that...?"

Hvala svima koji doprinose edukaciji "neupucenih IT pocetnika"!
( kao sto sam ja, na primer, koji bi SVE da Zalemi umesto da stisne ENTER )

Pozdrav

Pa i jesu i nisu (slicni).

Danas je situacija sledeca: samo 'osnovno' x86 jezgro se obicno deli izmedju segmenata (laptop / desktop / server i workstation trzista) mada npr. Intel vec neko vreme ima vise AVX-512 jedinica na server/WS jezgrima (od Alder Lake-a su potpuno ugasili AVX-512 na laptop/desktop varijantama) a od Alder Lake generacije stavljaju i "E" jezgra bazirana na Atomu u laptop / desktop procesore dok su serverski procesori ili samo P jezgra (Sapphire / Emerald Rapids) ili samo E jezgra (Sierra Forest).

Sa druge strane, vec 15-tak godina, serverski/WS procesori imaju vise jezgara od laptop / desktop varijanti. U pocetku je to bilo par do nekoliko x86 jezgara vise, dok danas pricamo o nekoliko puta vise x86 jezgara. Iako je samo jezgro (donekle) deljeno sto se arhitekture tice, serverski/WS procesori imaju mnogo vise jezgara na jednoj ili nekoliko plocica ("chipleti") koje su uvezane sa vrlo brzim interkonekt-om. AMD je presao na chiplete nesto ranije, dok je Intel dugo vremena gurao monolitni dizajn plocice. Monolitni dizajn ima prednosti sto se latencije tice, ali pocinje da pravi velike probleme kako povrsina postaje nekoliko stotina mm^2 - od Sapphire Rapids generacije i Intel koristi chiplet dizajn (doduse, nesto drugaciji nego kod AMD-a) za serverske/WS procesore kako bi se smanjio broj defekata i pojednostavila segmentacija.

Takodje, serverski i WS procesori imaju drugacije periferije - I/O jezgra sa PCIe i memorijskim kontrolerom su drugacija, obicno sa mnogo vecim kapacitetom (broj PCIe linija, broj memorijskih kontrolera i sl., memorijski kontroler za serverske/WS procesore podrzava ECC, dok je to obicno ili iskljuceno ili nije validirano kod laptop/desktop modela).

Takodje, sada neki serverski procesori koji gadjaju HPC segment imaju specijalnu vrlo brzu memoriju (HBM), kao vid optimizacije za npr. AI/ML upotrebu. Ta memorija je isto posebna 'plocica' vezana sa gustim bus-om za ostatak procesora, sve u jednom kucistu i na jednom substratu.

Zanimljivija situaicja je sa WS (HEDT) i serverskim procesorima - oni su obicno nastali od istog deljenog dizajna plocice, gde kod WS procesora imas pogaseno nesto od akceleratora (primarno vezano za serverske potrebe, sigurnost, enkripciju i I/O ubrzavanja) i prilikom testiranja za WS/HEDT segment se odabiraju komadi koji rade na visem radnom taktu (single i multi-core), dok su serverski procesori odabrani tako da se cilja na sto duzi radni vek pod 24/7 uslovima eksploatacije, ali sa nesto nizim taktom i dosta nizim TDP-om.

Konacno, serverski procesori bar kod Intela dolaze u vise varijanti (MCC, HCC, XCC) gde svaka od varijanti ima drugaciji max. broj jezgara (prakticno, povrsina i broj plocica), cime se optimizuje proizvodni proces i omogucava efikasnija segmentacija trzista (ako prodajes procesor sa samo 32 jezgra, glupo je da ga pravis od plocice sa 64+ jezgara). Laptop/desktop varijante obicno imaju samo jedan dizajn.

WS/HEDT procesori su obicno HCC i XCC varijante serverskih procesora, sa pogasenim serverskim akceleratorima i visim radnim taktom. Takodje, WS/HEDT procesori obicno samo podrzavaju jedan socket, dok serverski procesori podrzavaju 2/4/8+ socket-a. Kod Intel-a je to izvedeno sa UPI linkovima, koji su na WS/HEDT procesorima upotrebljeni (delom) za vise PCIe linija na maticnoj ploci, dok kod serverskih procesora isti UPI linkovi sluze za komunikaciju sa drugim socket-ima (obicno imas 2, 3 ili 4 UPI linka i nekoliko razlicitih topologija u zavisnosti koliko socket-a imas). I dalje je hardverski isti procesor, ali sa malo drugacijim p-kodom i firmware-om. Vecina razlika je iskljucivo u konfiguraciji "osiguraca" (fuse), dok je sam hardver isti.

Slicna situacija je i kod AMD-a, gde imas Ryzen varijante za laptop/desktop upotrebu i Threadripper/Epyc za WS/Server. I ti procesori isto dele osnovni dizajn x86 jezgra, ali su im plocice vrlo drugacije zbog razlicitih upotreba. Manje razlike su izmedju Threadripper i EPYC modela, sa slicnom strategijom kao kod Intela - Threadripper radi na visem radnom taktu, dok EPYC ima vise jezgara ukljucenih, ali optimizovano za 24/7 eksploataciju.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Btw, dizajn tih modernih procesora je vudu magija - ja se divim tim ljudima sto rade osnovnu arhitekturu. Bukvalno najkompleksniji artefakt koje je covecanstvo napravilo do sada.

Cisto primera radi, Sapphire Rapids WS/Server procesor, koji staje (i dalje ;-) na dlan jedne ruke, sa plocicom od ~1500 mm^2 - kada bi izvukao sve trase iz njega, dobio bi "zicu" duzine od oko 300 kilometara (!). Broj tranzistora u 'vecim' varijantama? 100 milijardi.

I sve se to napravi za nekoliko godina od pocetka projekta do finalnog proizvoda sa trake. No pressure :-)

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Koliko se secam cak i A100 u onoj PCIe Dual-slot verziji "ide" na vazduh ...

Kakav je A100 u poredjenju sa ovim gore procesorima ... mislim povrsina, broj tranzistora, potrosnja, komplikovanost ?

add - ne mislim na DGX A100 vec na sam procesor ...

Potpis

U padu jednog carstva stradaju svi, tako je uvek bilo, tako će biti i sada. Verovatno će posle svega ovoga
biti formirani neki novi blokovi, nova uređenja. A mi? Eh, a mi..

Ide na vazduh, ali nije bas to isti "vazduh" kao u desktop varijantama - potreban je vrlo jak protok vazduha. Ista prica kao za serverske CPU-ove, i dalje se vecina hladi na vazduh ali sa prilicno bucnim ventilatorima.

Cak i SMX verzije su prvo izasle sa vazdusnim hladjenjem, a tek kasnije je NVIDIA izbacila i modele koji se hlade vodom.

A100 ima ~54 milijarde tranzistora. Tesko ga je porediti sa generalnim procesorima zato sto cilja na razlicitu upotrebu. Osnovni IP blokovi su jednostavniji, ali je interni bandwidth veci.

Dosta logike u CPU-ovima ide na sto efikasnije izvrsavanje instrukcija unutar jedne niti. GPU jezgra su drugacija, samo izvrsavanje je jednostavnije ali jedan korak procesira mnogo vise podataka sto omogucava masivni paralelizam.

Takodje, GPU su prvi poceli sa dodavanjem specijalizovanih jedinica za operacije sa tenzorima. Prvi x86 CPU sa necim iole slicnim je Sapphire Rapids (sa svojom AMX jedinicom). Medjutim, problem je ako hoces da ti procesor bude dobar i za single-thread operacije i masivni paralelizam. Dizajn je mnogo kompleksniji i te dodatne jedinice (poput AVX-512 i AMX) prave dosta toplote. Sa druge strane, programiranje za takve arhitekture je, relativno, lakse - pogotovu za 'legacy' kod pisan za CPU izvrsavanje.

Ali ako pises kod od nule i mozes da iskoristis visok paralelizam, GPU ce vrlo verovatno izvrsavati takav kod efikasnije. Nekada je problem bio limitirana kolicina RAM-a koja je direktno dostupna GPU jedinici, ali sada svi (NVIDIA, AMD i Intel) imaju HPC akceleratore koji su, tehnicki, GPU dizajn - ali sa mnogo vise memorije, za AI/ML i sl. upotrebu. Doduse, takvi akceleratori kostaju k'o dobar auto :-)

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Mi nemamo toliko pojedinacnih tramzistora i celoj zemlji !

Nego,
-Šta se desi u radu procesora ako "ajsne" 93678261523-i tranzistor???

To bi voleo da cujem od onog neoženjenog "Fahman-a",
koji je smišljso internu šemu procesora
dok je papirnu varijantu .SCH fajla
širio na 3 fudbalska igrališta i nije bilo dosta prostora.

Obicno ne riknjava jedan tranzistor vec defekt zahvata malo vecu povrsinu.

Sta onda? Zavisi. Moderni CPU-ovi i GPU-ovi su projektovani modularno tako da mnogi defekti i dalje omogucavaju da se ceo modul ugasi i proizvod proda kao “nizi” model (sa manje jezgara, kesa i sl.)

Npr ako je jedno jezgro neispravno, u konfiguraciji osiguraca se permanentno iskljucuje.

Takodje, dizajn planira za odredjen % defekata sa tzv “dark silicone” zonama - na primer, fizicki broj jezgara je 40 iako se vecina prodaju sa max 38. Dva “tamna” jezgra su rezerva za slucaj da dodje do defekta, pa jedno nekad “tamno” jezgro menja drugo koje ima defekt u proizvodnji.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Kakvi su izgledi da Intel u '24 izbaci CPU koji ce biti dovoljno dobar za local LLM inference (nesto poput Apple M Ultra)? Nisam ulazio u detalje zato sto imam 3090 koji nema taj problem, ali na osnovu par testova na (AMD) Zen 3 sistemu, izgleda da je memory bandwidth usko grlo. Kako Intel stoji ovde?

Ne velika, koliko vidim i Lunar Lake i ovi ostali su na dual-channel DDR5 memoriji, nema tu velikih pomaka ako pitas za desktop. Za serve, valjda i sad mozes da kupis Xeon Max sa 64GB HMB2 memorije, to je ludilo brzo, ali ne znam koliko to zelis "lokalno"

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

MTL ce imati VPU blokove - https://www.anandtech.com/show...-lays-out-vision-for-client-ai

Ali, sto se LLM-ova tice, tu je kljucna stvar bandwidth kao sto si primetio, a desktop/laptop procesori >osim< Apple-ovih i dalje kaskaju iza GPU-ova.

Za moje potrebe ja sam to donekle resio sa dual Sapphire Rapids SP setup-om sa ukupno ~615 GB/s DDR5 bandwidth-a (16 x 38.4 GB/s), posto bi za istu kolicinu memorije sa GPU-om morao da uzmem mortgage :-)

Sad imam i 4 x MI100 za manje mreze (sa onim Hypertransport interconnectom pa se vidi kao 128 GB VRAM-a)... ali isto ne preporucujem to lokalno, racun za struju boli :-)

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

> Ne velika, koliko vidim i Lunar Lake i ovi ostali su na dual-channel DDR5 memoriji, nema tu velikih pomaka ako pitas za desktop. Za serve, valjda i sad mozes da kupis Xeon Max sa 64GB HMB2 memorije, to je ludilo brzo, ali ne znam koliko to zelis "lokalno"

To je bio i moj utisak... Bacio sam pogled na Xeon Max cenovnik, LOL

> Za moje potrebe ja sam to donekle resio sa dual Sapphire Rapids SP setup-om sa ukupno ~615 GB/s DDR5 bandwidth-a (16 x 38.4 GB/s), posto bi za istu kolicinu memorije sa GPU-om morao da uzmem mortgage :-)
> Sad imam i 4 x MI100 za manje mreze (sa onim Hypertransport interconnectom pa se vidi kao 128 GB VRAM-a)... ali isto ne preporucujem to lokalno, racun za struju boli :-)

Legendarno!

Studio M2 Ultra 128GB je negde oko 5K, sta bi bila Xeon-based altarnativa u tom cenovnom rangu?

Tesko da moze da se uklopi, sva ta profi oprema sto ide u datacentar je preskupa - samo jedan procesor je skuplji od cele te M2 Ultra masine :(

Ista prica za GPU-ove... kad sam zadnji put gledao, A100 si mogao naci od Kineza na ebay za 5-6K EUR, i to onu 40 GB varijantu. 80 GB i ako se nadje je uvek bila >15K EUR.

H100... ne treba ni pricati :-)

AI craze je totalno oterao cene svega toga u stratosferu.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

A izlazi ili je već izašao H200, koliko li tek on košta :)

Inače, kod kineza se A100 i H100 švercuju, jer su obuhvaćene sankcijama SAD, odnosno zabranom izvoza u Kinu, tako da se tamo prodaju zvanično oslabljene verzije A800 i H800, maltene po istim cenama kao na svetskom tržištu ili čak nešto skuplje, a švercovane A100 i H100 su najmanje duplo skuplje nego na svetskom tržištu.

Imajući u vidu broj kartica potrebnih za određene poslove (za Chat GPT se procenjuje da je potrebno oko 30.000 kartica A100), možda su bolja neka druga rešenja, od kojih je najekstremniji Cerebras (praktično kvadrat isečen od celog vafera), problem je što se cena sistema baziranog na jednom čipu procenjuje na 5-10 miliona dolara (zvanična cena nije javno dostupna). Cerebras tvrdi da ima mogućnost da napravi sistem koji ima do 192 ovakva čipa.

Potpis

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

Problem je sto je dugo vremena taj ebay bio jedini nacin da se dokopas kao pojedinac tih kartica, zato sto nisu bile na lageru nigde (skoro sve ode HPC/AI startupima, hyperscalerima i FAANG firmama).

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Apple, Apple, život češ da nam pojedeš

Razmatram Threadripper 7960X - osnovni model 24c / quad-channel DDR5 kosta oko $1500. Nije na nivou gorepomenutih Xeon-a, ali deluje kao solidan upgrade u odnosu na standardne desktop modele

Uzmi, neces da zazalis :-)

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Evo ja prijateljski apelujem ako neko u sistemu cita da pokloni ili makar upola plati Livingu vozic, mom drugaru.

Kad toliko zeli taj komp a zasluzio je mnogo vise iskreno