Da li biti programer? Buducnost profesije

Ne postoji. Bez obzira koliko je mreža istrenirana, i dalje se množi matrica vektorom (puno matrica sa puno vektora). Može, ako smanjiš broj ulaza ili neurona, a ne zavisi od toga koji su težinski faktori...

Da bi funkcionisalo mora stalno da bude azuran, znaci neke informacije morace da kupi sa neta aneke da "zipuje" (privremenozaboravi). Model opste namene nema buducnost po meni samo modeli koji su specijalizovani za odredjenu oblast

Svaki model ima trosak za ucenje i trosak za zakljucivanje. Treniranje modela moze biti inkrementalno i vrlo verovatno posle inicijalne faze ne igra previse bitnu ulogu u racunu za neki masovni servis - zakljucivanje je dominantno.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Ne kapiram, zakljucas i onda ce prog da postane prorok jer sve posle toga sto se desi a nema pristupa tim informacijama za njega to ne postoji ili ce biti prorok i lupetati.

@lega99 Imaš strašno pogrešne predstave o AI i stalno istrajavaš na njima.

ChatGPT je chat AI. Znači, ono što mu je primarni zadatak je da može da ćaska. Da bi to postigao mora da napravi statistički model jezika. Da bi to uradio, daš mu milion tekstova, Onda se AI istrenira i poznaje jezik.

Sada, ako mu dodaš milion i prvi tekst, njegovo POZNAVANJE JEZIKA se neće promeniti značajno. O tome Dimke piše kada pominje troškove učenja.
Trošak zaključivanja je nešto potpuno drugo. Kada je AI razumeo ulaz korisnika, a to postiže kroz trening mreže koja prepoznaje jezik, onda treba da formira neki odgovor - zaključak. E to se ažurira sa novim informacijama.

I još jedna stvar, AI (ChatGPT) NIJE SERVIS ZA PRETRAŽIVANJE INTERNETA. To radi Google, i to mnogo bolje, a ne koristi AI.

@djoka_l,

Hvala na objasnjenju, ja sam drugacije shvatio cemu to sluzi. Znaci ovo mi je bilo bitno da znam :onda treba da formira neki odgovor - zaključak. E to se ažurira sa novim informacijama. Sam chatGPT me je doveo u zabludu potencirajuci da sve sto zna je do 2021 a posle toga nista ne postoji za njega.

ChatGPT nije samo čet bot. Po pričama moćnih ljudi, koji ulažu milijarde dolara... on zaista može da zameni google u nekim oblastima. I google i wikipediju i bilo šta što je za početak tekstualnog oblika. ChatGPT može samo da se razvija na bolje, na gore ne može. Sad je problem infrastruktura... jednostavno serveri su prebukirani... ali u budućnosti ChatGPT će biti u stanju da napiše knjigu na neku temu. Na primer postaviš mu pitanje: Šta sve znaš o drugom svetskom ratu? I on ti 'saspe' ogromnu količinu informacija.

Sam sistem nije problem, problem je verodostojnost takvih informacija. Jer je danas internet prepun 'šuma' i mnogo netačnih informacija. Ali šta je tu je.

Potpis

https://tomstudiopark.com/

Procitaj ponovo i obrati paznju na rec “inkrementalno”.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

ChatGPT je rekao;


Meni kao obicnom smrtniku nikad nije napisano da chatGPT ima inkrementalno zakljucavanje, samprogram je uvek ponaljvlja da je zakljucan na 2021 godini.
Ako se prmeni ovaj tvoj termin na zaklucvanje a nisu napisali da su to uradili, to znaci mic po mic dodavacemo nesto i to kako nam padne na pamet. Meni je logicnije da se dodaje posle
kad se nakupi neki eo koji nije obuhvacen i za koji se posebno istrenira sistem i onda se doda. Sta ce tu biti laz a sta istina to vec lici na Orvella, dnevna istina koja sutra vise ne vazi. Mozda sam ja suvise star i glup
odrastao sam od pocetne faze busenih kartica do mocnih mainfame masina i sad mocnih PC.. Vreme ce pokazati svoje...Nisam obucen niti ucen za AI pa prihvatam da je zeleno sutra plavo jer AI tako kaze. Prihvatam ali ne verujem, zavrsavam diskusiju.

ChatGPT je demonstrator tehnologija koje OpenAI nudi, oni su ga zakljucali na podatke do 2021 iz svojih razloga (verovatno zato sto je u pitanju demonstrator, kontinualno ucenje zahteva ljudske resurse koji bi taj materijal obezbedjivali i kontrolisali rezultate - to ce verovatno biti slucaj sa uslugama koje ce nuditi Microsoft).

Izmedju ostalog, OpenAI komercijalni modeli dozvoljavaju naknadno ucenje, evo i cenovnika: https://openai.com/api/pricing/

Na tebi je, kao arhitekti nekog resenja koje koristi ovu vrstu jezickih modela da odlucis o strategiji ucenja.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Da, tako sam i pretpostavljao. Što se tiče zaključivanja, moram da pitam još nešto da vidim da li sam razumeo taj deo.

Dakle, ako model postane istreniran (recimo da nema potrebe za daljim inkrementalnim treninzima) da li se tada može odraditi faza zaključivanja i stvar postaje donekle spremna za korisničke upite (koji bi onda zahtevali minimum resursa). Ili je zaključivanje ipak trajan proces koji mora ostati da šljaka čak i tokom interackije sa korisnikom dok šalje upite?

Jer ovo me je zbunilo:



Cenim da je Djoka mislio na obradu zahteva korisnika, jer ti ulazni podaci opet moraju prolaziti kroz neuronsku mrežu i samim tim zahtevaju nekakav minimalan processing.

Jer nije mi jasno šta bi drugo nakon istreniranog sistema i izvedenih zaključaka opet iznova masovno množilo vektore i matrice.

@Dimkovic

Pisao si beše u nekoj drugoj temi da si probao model. Čisto me zanima jesi bukvalno dizao na Nvidia GPU mašinama na cloud ili si mislio na probavanje na DaVinčiju?
Ako je ovo prvo, podeli kad stigneš nekad link / howto ako ima, čisto me zanima kako proces izgleda i koji su resursi potrebni.

Nešto od interesa za temu, ako je verovati, WEF (World Economic Forum) predvidjanja do 2025:
https://www.weforum.org/report...ure-of-jobs-report-2020/digest

Ne, probao sam one klonove GPT-a (vidi npr: https://huggingface.co/docs/transformers/model_doc/gptj)

4chan model je uklonjen ali nije tesko naci backup.

Ovi modeli su ocigledno slabiji od GPT 3.x, ali idiotski diskurs sa 4chan/pol ne zahteva mnogo mocan AI za replikaciju.

Mozes komotno sve da dignes u docker kontejneru i trcis pod WSL2 u Win11 - CUDA akceleracija je podrzana, tako da ti samo treba OK hardver, idealno GPU sa 24 GB RAM-a (mada imas i float32 model za CPU).

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Ne postoji nikakvo "zakljucavanje" - mozes prestati proces treniranja u bilo kom momentu, kao sto uvek mozes uzeti vec trenirani model i zapoceti dodatni proces treniranja ("fine tuning" u terminologiji jezickih modela, posto je tipicno da dodatni materijal za trening predstavlja mali % originalnog korpusa).




Da, prica je bila o zaobilazenju ponovnog prolaza, ali je problem ako zelis bilo sta drugo osim egzaktnog uporedjivanja da ces morati da koristis neki drugi model koji bi merio "slicnost" prompta sa vec kesiranim.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Ikao sam napisao da necu vise diskutovati na ovu temu ovo danas me je potaklo pa pomislim da sto se tice raznih skripti i programiranja neko sedi i to radi. Trazio sam nesto jednostavno i nisam nasao, zadao parametre chatGPT, napravi python skriptu za motion detect. E sad sto sam prosirio zahtev da to budu slike na video i da ih belezi na disku to je postalo nocna mora za chatGPT. Dobijam utisak da tamo neki programer je pozurio da se pokaze pa je chatGPT zaboravljao na include koji je obavezan i potreban, jednostavno nema ga u kodu, provalim, chatGPT se izvinjava i vec sledeci potez zaboravi neku promenjivu i tako satima jurimo se on gresi ja mu saljem greske koje izbacuje program, chatGPT se izvinjava. U jednom trenutku pocinje deja vu, nudi gotove programe koji meni ne trebaju, nudi neka komplikovana resenja koja nikad do sad nije uspeo da dovede do kraja i da to radi. Minorni zhtevi prosirenja funkcije programa dovode do totalnog sludjivanja programa, izostavljati include koji je prva stavka u programu i potreban je odredjeni include za odredjenu namenu za mene je to katastrofa logike i inteligencije.

Mrzelo me da akam svoj laptop pa sam podigao jedan Ubuntu na aws čisto da se poigram ;) To je p3.xlarge a unutra mu dodje Tesla V100 sa 16 GB, košta $1/h ako je dignem kao spot. Izigram se malo i ubijem kad mi dosadi :)

Inače, hvala za predlog na GPT-J i docker, našao sam neki repo za GPT-j 6B, ima sve šta treba instalirati. Čisto ako nekom uopšte zatreba:

https://github.com/devforth/gp...gpu-docker/blob/main/README.md

Ono što me jedino zezalo je korak "NVIDIA Container Toolkit" tu mora da se pažljivo očisti stari Docker ako je na mašini i reinstalira uz Nvidia dodatak. Jer u suprotnom neće CUDA da radi u kontejneru bez njega.
https://medium.com/@linhlinhle...0-on-ubuntu-18-04-da3eac6ec494

Model se podigne jako brzo, svega par sekundi i slusa na http://0.0.0.0:8080 i možeš odmah da lupaš curl ;)



Što se brzine tiče, odgovora momentalno, nisam probavao sa paralelnim upitima, možda sledeći put :P



_{[Ovu poruku je menjao brainbuger dana 16.02.2023. u 22:58 GMT+1]}

Koja sprdnja ovo za 4chan, tražio sam docker rekoh ako ima "na gotovo" da probam ali nema,

Zanimljiva mi je i ta reakcija mase na "politically incorrect" u smislu kao da je model odmah privlačniji i realniji čim psuje ko kočijaš.

Imas modele (float i int) na vise mesta (i torentu), ali mislim da sam morao da budzim skripte da to proradi kod mene.

Kad proradi, dobices odgovore koji nisu razliciti od onoga sto bi dobio na 4chan-u :-)

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

@brainbuger,

Imas sad i nesto slicno ChatGPT-u kao open source:

https://www.hpc-ai.tech/blog/colossal-ai-chatgpt
https://github.com/hpcaitech/ColossalAI

Doduse, tesko da ces moci da teras najveci model koji ima identican broj parametara kao original (175 milijardi)

Na RTX3080 mogu da teraju model sa 0.35B parametara, a na A100 40GB mogu da teraju 1.3B. A100 80G moze da trci 3.5B model.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey