[es] - Počelo čipovanje :)

ademare

Član broj: 151475
Poruke: 8092

+1755 Profil

^{31.01.2024. u 16:17 - pre 2 meseca}

Posto se u temi pominjalo da se odmah vrsi ugradnja u coveka, to nije tacno , naravno !

Prvo je bilo ispitivanje na svinjama i majmunima !

Pise da je uz pomoc cipa majmun igrao Pong ?!

Vest je sa cnN1 :

"Kompanija je već sprovela testove na svinjama i pokazala da majmun može da igra klasičnu video igricu Pong koristeći uređaj. U maju 2023. Neuralink je objavio da je dobio odobrenje za testiranje na ljudima."

Pise da Mask nije ni prvi ni jedini i da su druge firme vec ugradjivale cipove ljudima !

"Maskova kompanija nije jedina koja radi na ovoj ideji. Mnoge akademske grupe i komercijalni start-apovi već su sproveli ispitivanja na ljudima i uspeli da direktno protumače moždane signale u neku vrstu izlaza.

Tim sa Univerziteta Stanford u Kaliforniji postavio je dva mala senzora odmah ispod površine mozga do vrata paralizovanog čoveka.

Istraživači su bili u stanju da protumače moždane signale osobe kada je mislila da piše reči olovkom na papiru i pretvore ih u čitljiv tekst na računaru."

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
2a02:a212:92bb:3480:685a:b90..

+7176 Profil

Re: Počelo čipovanje :)

^{31.01.2024. u 16:23 - pre 2 meseca}

Naravno, FDA ne daje dozvole na istrazivanja na ljudima bez predhodnih testova na zivotinjama, sto se svakako desilo.

Nema nicega sto nije cisto tu (osim nekih kontraverzi oko samog testiranja nad zivotinjama koje se nisu zavrsile negativnim epilogom po Neuralink).

@ademare,

Brain-Machine-Interface (BMI) je jako aktivno polje istrazivanja sa gomilom firmi koje rade na razlicitim vidovima interfejsa, ukljucujuci i cip implante. Ocekuje se dosta sinergija sa ML (Machine Learning) / AI poljem, pogotovu u domenu dekodiranja neuronskog koda i izvlacenja korisnih informacija za upravljanje protezama.

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 2708

+700 Profil

Re: Počelo čipovanje :)

^{31.01.2024. u 17:31 - pre 2 meseca}

Citat:

Ivan Dimkovic:
NVIDIA Orin ima 275 TOPS-ova - to je 8x vise od predhodne generacije. Mozes da kupis malo slabiju verziju u retail-u >danas< https://www.reichelt.nl/nl/nl/...-jetson-agx-ori32-p358852.html

Sledeca generacija (Thor) je 1000 TOPS-ova... cisto poredjenja radi, 4090 RTX ima 145 TOPS-ova. Dakle, sledeca generacija ADAS cipova ce biti ekvivalentna klasteru najjacih kucnih grafickih procesora. Malo li je.

Negde videh da model sa 64GB košta oko 3300 evra, doduše u pitanju je "bundle", mada ovde ima u nekoj varijanti i za 2250 evra: https://www.reichelt.nl/nl/nl/...4f3d21ac029b1bce470d23700e0bf9

Ako je u pitanju "unified" RAM, odnosno ako GPU ima pristup toj memoriji, onda je u pitanju nešto slično kao Apple Silicon, kod koga takođe "AI Cores" imaju pristup celoj RAM memoriji (osim dela koji je zauzet od strane OS-a i aplikacija), a M3 Max bi trebao da izađe i u varijanti sa 128GB memorije, što je više nego nVidia H100 kartice koje imaju 80GB.
Ovde se naravno radi samo o tome da li se može uopšte učitati neki NN model u memoriju, broj jezgara i TFLOPS-i su neka druga priča i tu ništa od ovoga ne može da priđe nekim rešenjima posebno projektovanim za AI/ML/NN, ali koja su cenovno daleko izvan domašaja čak i većine istraživačkih instituta i univerziteta, a kamoli nas običnih smrtnika.

Što se tiče "čipovanja" ljudi, naravno da će se prvo ići na to da se eventualno pomogne onima kojima je to potrebno - i koji to mogu da plate, jer oni će prvi biti spremni da potpišu ugovor po kome u slučaju komplikacija i drugih nepredviđenih rezultata kompanija skida odgovornost sa sebe i ne mora da plati odštetu porodici pacijenta.
U sledećem krugu će se možda ići na neku varijantu memorije, koja bi omogućila super-pamćenje i slično, zbog čega će mnogi univerziteti morati drastično da promene studije i predmete kod kojih se ispit svodi na bubanje gradiva.

Jedan od mogućih problema sa tim čipovima može da bude električno, magnetno ili elektromagnetno zračenje iznad nekih normalnih granica, recimo šta kad osoba sa tim čipom priđe blizu nekog elektromotora velike snage ili blizu energetskog pretvarača snage nekoliko stotina kilovata ili čak megavata.
Već postoje situacije u kojima osobe sa pejsmejkerom moraju da se paze izloženosti takvim uređajima, posebno ako se radi o nečemu što je napravljeno u "kućnoj radinosti", pa nisu ispoštovane FCC/ECC norme po pitanju jačine E/M/EM zračenja uređaja.

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
2a02:a212:92bb:3480:685a:b90..

+7176 Profil

Re: Počelo čipovanje :)

^{31.01.2024. u 18:16 - pre 2 meseca}

Citat:

Ako je u pitanju "unified" RAM, odnosno ako GPU ima pristup toj memoriji, onda je u pitanju nešto slično kao Apple Silicon, kod koga takođe "AI Cores" imaju pristup celoj RAM memoriji (osim dela koji je zauzet od strane OS-a i aplikacija), a M3 Max bi trebao da izađe i u varijanti sa 128GB memorije, što je više nego nVidia H100 kartice koje imaju 80GB.

Dzaba M3 Max-u sav "unified RAM" kada H100 ima za koji red velicine vece compute performanse, celo to poredjenje Apple M procesora sa NVIDIA compute akceleratorima je smesno (bas pre neki dan neki pateticari objavili kako su uspeli da trce neki AI na M3 podjednako brzo kao 4090 RTX... ali tako sto RTX kod nije koristio CUDA-u... mislim, ono, nije ni koristio GPU... kad su ukljucili CUDA optimizacije, 4090 RTX je rasturio Mac sa 10x brzim procesiranjem... ali onda stize najjaci komentar pateticara, eto kao - to je zato sto je kod >OPTIMIZOVAN< za NVIDIA-u... jok nego sta je, koja je poenta inace ;-)

Mislim, M2/M3 Mac-ovi su odlicne masine - sa svom tom memorijom mogu biti korisni za igranje sa LLM-ovima ali jbt, porediti to sa >HPC-grade< opremom od NVIDIA-e nema nikakvog smisla. Ta memorija je jedina prednost, zato sto trenutno postoji raskorak izmedju zahteva boljih LLM modela i kolicine memorije dostupne "gamerskim" GPU-ovima, ali i to ce polako da nestaje.

Sto se Orina i Thora tice - oni su vise puta mocniji od njihovih kucnih desktop GPU savremenika zato sto u automobilu postoji mnogo veca potreba za compute-om - ADAS sistemi krckaju ulaze sa visestrukih kamera i na njima vrse transformacije i analize, pa onda fuzija sa RADAR / LIDAR senzorima i pathfinding... a onda na sve to dodaj multi-screen infotainment, sve to zahteva mnogo vise resursa nego sto je potrebno kucnom PC-ju.

Citat:

Ovde se naravno radi samo o tome da li se može uopšte učitati neki NN model u memoriju, broj jezgara i TFLOPS-i su neka druga priča i tu ništa od ovoga ne može da priđe nekim rešenjima posebno projektovanim za AI/ML/NN, ali koja su cenovno daleko izvan domašaja čak i većine istraživačkih instituta i univerziteta, a kamoli nas običnih smrtnika.

Zasto tako mislis, sta tacno 'fali tensor jezgrima, posto su moderni AI algoritmi operacije sa matricama? NVIDIA je rasturila Google TPU i vecina cloud-side AI algoritama trci na NVIDIA hardveru i koristi tensor jezgra?

Odgovor na temu

dejanet
Beograd

Član broj: 19240
Poruke: 1181

+837 Profil

Re: Počelo čipovanje :)

^{31.01.2024. u 18:56 - pre 2 meseca}

Jedino sto je dostupno nama za "igranje" u kucnim uslovima sa nekim open source LLM je 4090 RTX sa 24GB.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
2a02:a212:92bb:3480:685a:b90..

+7176 Profil

Re: Počelo čipovanje :)

^{31.01.2024. u 19:16 - pre 2 meseca}

Mislim da ti Mac-ovi to pokrivaju, za malo vise - ali ne previse, para - mozes da dobijes nesto relativno upotrebljivo sa 128 GB.

I dalje je u teoriji mnogo sporije od hipotetickog 4090 RTX sa 128 GB, ali takav model ne postoji, pa je ovo next best thing ako hoces da trcis 70B modele.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
2a02:a212:92bb:3480:685a:b90..

+7176 Profil

Re: Počelo čipovanje :)

^{31.01.2024. u 19:34 - pre 2 meseca}

Oko moci suda u Delaware-u:

https://edition.cnn.com/2024/0...k-pay-package-judge/index.html

Citat:

But this week, a Delaware state judge handed down a message that Musk and other powerful men in America seldom hear: Nope.

Kathaleen McCormick, the soft-spoken, even-keeled head of the Court of Chancery in Delaware — the state in which many of the nation’s biggest businesses are incorporated — struck down Musk’s 2018 Tesla pay package on Tuesday, siding with a shareholder who’d challenged it as excessive.

The ruling, which is almost certain to face an appeal, could take a serious bite out of Musk’s personal fortune, potentially wiping out more than $51 billion in assets. (Of course, even then he’d still be the third richest person on the planet, according to Bloomberg.)

Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 2708

+700 Profil

Re: Počelo čipovanje :)

^{01.02.2024. u 11:34 - pre 2 meseca}

Slažem se sa svim, nego se sećam da su ljudi imali problem sa primerima modela koji su rađeni za GTX 1080 sa 11GB, iako to može nekim trikovima da se zaobiđe, ali kad je izašla RTX 20 serija, modeli rađeni da maksimalno iskoriste tih 11GB kod 1080 modela nisu mogli uopšte da se tek tako učitaju kod RTX-20nn kartica koje nemaju više od tih 11GB memorije, a isto važi i sada, s tim što postoji u nekoj relativno jeftinoj varijanti 3060 sa 12GB (samo desktop) više verzija RTX-40nn kartica.
Hteo sam da napomenem da neko iz čiste radoznalosti može da pusti model rađen za karticu sa 16 ili 24GB ili čak 2 ili više kartica sa po 16GB ili 24GB na nekom sistemu koji ima 64, 96 ili 128GB "unified" memorije. Ne znači da će moći da uradi ozbiljno treniranje, za to je potrebna daleko bolja (i skuplja) oprema, ali će bar moći da pusti model sa manjom količinom podataka za treniranje ili manjim brojem epoha, ali ako nema dovoljno memorije, ne može uopšte ni da pokrene model.

A kako se razmišlja i radi na razvoju čipova za implantiranje, možda ćemo jednog dana stvarno imati Robokapa ili nešto bar slično tome - ima još nekih SciFi filmova na slične teme, u kojima ljudi imaju mogućnost "nadogradnje" bioničkim okom i drugim pomagalima koja im omogućuju npr. da vide u totalnom mraku.
Kako u SAD većina otkrića prvo nađe vojnu primenu (jer vojni sektor ima najviše novca da to isfinansira), za očekivati je da neki od tih čipova omoguće da vojnik funkcioniše još neko vreme čak i u situacijama kada bi bez čipa bio praktično mrtav ili u komi. Recimo, u slučaju eksplozije, ako vojnik nije pretrpeo fatalne povrede, neko kraće ili duže vreme je normalno neoperativan (šok, nesvestica i sl.), ali je tu implat da ga "probudi".

Ono o čemu mi obična raja možemo maštati je da se političarima ugrade implanti koji bi nam direktno govorili da li političar govori istinu ili ne, ali to će ostati u domenu mašte, jer su političari ti koji odlučuju o svemu, pa i o primeni tih čipova za implantiranje.
Inače, kad već pričamo o čipovima za implantiranje, zar već ne postoje čipovi koji se ugrađuju psima i mačkama, samo što nisu povezani na nervni sistem, već služe samo za identifikaciju vlasnika?

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
..2bb:3480:79fd:25f9:67c7:ebd9

+7176 Profil

Re: Počelo čipovanje :)

^{01.02.2024. u 11:54 - pre 2 meseca}

Citat:

Hteo sam da napomenem da neko iz čiste radoznalosti može da pusti model rađen za karticu sa 16 ili 24GB ili čak 2 ili više kartica sa po 16GB ili 24GB na nekom sistemu koji ima 64, 96 ili 128GB "unified" memorije. Ne znači da će moći da uradi ozbiljno treniranje, za to je potrebna daleko bolja (i skuplja) oprema, ali će bar moći da pusti model sa manjom količinom podataka za treniranje ili manjim brojem epoha, ali ako nema dovoljno memorije, ne može uopšte ni da pokrene model.

Tacno, ako nemas dovoljno memorije da ucitas model, nista od posla.

Ali ako radis CPU inference, sve i sa brzom memorijom to ce biti i dalje >10x sporije od GPU inference-a, naravno pod uslovom da imas dovoljno GPU memorije sto je trenutno najskuplja stvar koja postoji.

Pun trening nemoj ni da pomisljas bez GPU clustera, osim ako nije neki toy model.

Cudi me kako neka gerila ne napravi GPU sa maksimalnom kolicinom memorije za "prozumente"... verovatno je to onemoguceno samim ugovorima sa npr. NVIDIA-om... ko se seca ranije, npr. Gainward je imao one Phantom ili kako su se zvale kartice sa 2x vise GPU memorije od ostalih AIB partnera kao i samih in-house dizajna od NVIDIA-e... na zalost, NVIDIA je kasnije uvela limitacije u samom BIOS-u koji oni potpisuju, pa nije moguce tek tako dodati memoriju bez da NVIDIA odobri sto, ocigledno, nece uraditi kako ne bi kanibalizovali prodaju workstation i HPC modela koji su 2-10x skuplji od potrosackih.

Citat:

Inače, kad već pričamo o čipovima za implantiranje, zar već ne postoje čipovi koji se ugrađuju psima i mačkama, samo što nisu povezani na nervni sistem, već služe samo za identifikaciju vlasnika?

Postoje, ali ti cipovi su negde periferno ispod koze implantirani... to je sasvim drugi nivo problema od nekog cipa u lobanji koji ima komunikaciju sa elektrodama implantiranim blizu ili cak u mozgu. Taj cip mora biti fizicki blizu elektroda iz ociglednih razloga, sto komplikuje proceduru i unosi nove rizike u toku i posle operacije.

Opet, sa druge strane, ljudi kojima tako nesto treba imaju veoma velike poteskoce u zivotu pa je tradeoff mozda i prihvatljiv.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
..2bb:3480:79fd:25f9:67c7:ebd9

+7176 Profil

Re: Počelo čipovanje :)

^{01.02.2024. u 11:57 - pre 2 meseca}

Citat:

dejanet:
Jedino sto je dostupno nama za "igranje" u kucnim uslovima sa nekim open source LLM je 4090 RTX sa 24GB.

Mislim da si mogao 3090 RTX da spojis sa NVLink-om i da se to nekako vidi kao unificirana memorija, sa malo hakovanja - mislim da je to bio najjeftiniji nacin da se dokopas bar 48 GB VRAM-a. Ako mozes da se dokopas dve RTX A6000 workstation verzije 3090 RTX, dobijas 96 GB VRAM-a preko NVLink-a... e sad, mali je broj NVLink kanala pa je inter-GPU bandwidth smanjen, ali je i dalje upotrebljiv... ima po ebay da se nadju A6000 za ~3K ako se ceka, znaci 2 komada su 6K, za 96 GB so-so VRAM-a.

Naravno, Jensen je to prepoznao pa 4090 RTX bas kao ni RTX 6000 Ada (workstation verzija sa 48 GB) nemaju NVLink;-)))

A100 od 80GB moze da se zaboravi, tacno zbog velicine VRAM-a je i polovna sad oko 15K... zaboravi.

A pobednik je naravno H100... evo samo za 54K EUR https://www.ebay.de/itm/285229985140 :-)))

Ili ova siljevina, A100 doduse samo 40GB verzija, ali SXM4 prepravljen na PCIe :-)) https://www.ebay.de/itm/134800174214 - ali samo 3999 EUR. Doduse ovo je step-down, zato sto PCIe verzija A100 ima 3 NVLink-a pa je moguce nesto i napraviti od toga uvezivanjem par komada, ali puno srece sa nalazenjem tih kartica za manje pare.

Ja sam uspeo da se dokopam 4 komada AMD-ovih MI100 akceleratora, svaki sa 32 GB VRAM-a i kupio onaj HyperTransport most da se vide kao unificiranih 128 GB VRAM-a. Bas ovih dana to treba da aktiviram za eksploataciju, bice interesantno videti koliko im je softverski ekosistem spreman tj. da li je moguce relativno lako naterati postojece LLM-ove da koriste GPU compute na AMD-u.

Cuo sam razne horor price, otprilike ko god je probao je zazalio sto nije kupio A100 i sl.

Sto se samog treninga tice, mislim da je najekonomicnije trenutno kad si siguran da to sto hoces sljaka (provereno na manjem modelu "kod kuce") da platis cloud instance za fine tuning - sto moze biti nekoliko stotina $. To ti je jedini nacin da istrcis to sto hoces na GPU clusteru, posto bi te taj isti cluster kostao $150-$200K po 8 GPU jedinica da ga sam kupujes.

Ceo trening od nule nekog veceg modela je nedostizna stvar za pojedince i manje firme, mada cak i za srednje je upitno koliko je to smisleno.

_{[Ovu poruku je menjao Ivan Dimkovic dana 01.02.2024. u 13:09 GMT+1]}

Odgovor na temu