Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Da li biti programer? Buducnost profesije

[es] :: Vodič za posao :: Da li biti programer? Buducnost profesije
(TOP topic, by Nebojsa Milanovic)
Strane: << < .. 65 66 67 68 69 70 71 72 73 74 ... Dalje > >>

[ Pregleda: 267678 | Odgovora: 1523 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

djoka_l
Beograd

Član broj: 56075
Poruke: 3453

Jabber: djoka_l


+1462 Profil

icon Re: Da li biti programer? Buducnost profesije10.02.2023. u 20:18 - pre 14 meseci
Citat:
Nešto se pitam, da li postoji barem neka teorijska mogućnost da model dodje do tačke kada je već toliko nakupio istreniranog "znanja" da im ostaje da ga samo optimizuju i primaju povremeno novi update. U smislu, jel mogu kod AI ovog tipa troškovi vremenom početi da opadaju jer nije više ista količina processinga potrebna?


Ne postoji. Bez obzira koliko je mreža istrenirana, i dalje se množi matrica vektorom (puno matrica sa puno vektora). Može, ako smanjiš broj ulaza ili neurona, a ne zavisi od toga koji su težinski faktori...
 
Odgovor na temu

lega99

Član broj: 82119
Poruke: 1087



+16 Profil

icon Re: Da li biti programer? Buducnost profesije10.02.2023. u 21:07 - pre 14 meseci
Da bi funkcionisalo mora stalno da bude azuran, znaci neke informacije morace da kupi sa neta aneke da "zipuje" (privremenozaboravi). Model opste namene nema buducnost po meni samo modeli koji su specijalizovani za odredjenu oblast
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
2a02:a212:92bb:7e80:fef6:590..



+7174 Profil

icon Re: Da li biti programer? Buducnost profesije11.02.2023. u 03:09 - pre 14 meseci
Svaki model ima trosak za ucenje i trosak za zakljucivanje. Treniranje modela moze biti inkrementalno i vrlo verovatno posle inicijalne faze ne igra previse bitnu ulogu u racunu za neki masovni servis - zakljucivanje je dominantno.
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

lega99

Član broj: 82119
Poruke: 1087



+16 Profil

icon Re: Da li biti programer? Buducnost profesije11.02.2023. u 11:30 - pre 14 meseci
Citat:
Ivan Dimkovic: Svaki model ima trosak za ucenje i trosak za zakljucivanje. Treniranje modela moze biti inkrementalno i vrlo verovatno posle inicijalne faze ne igra previse bitnu ulogu u racunu za neki masovni servis - zakljucivanje je dominantno.


Ne kapiram, zakljucas i onda ce prog da postane prorok jer sve posle toga sto se desi a nema pristupa tim informacijama za njega to ne postoji ili ce biti prorok i lupetati.
 
Odgovor na temu

djoka_l
Beograd

Član broj: 56075
Poruke: 3453

Jabber: djoka_l


+1462 Profil

icon Re: Da li biti programer? Buducnost profesije11.02.2023. u 12:19 - pre 14 meseci
@lega99 Imaš strašno pogrešne predstave o AI i stalno istrajavaš na njima.

ChatGPT je chat AI. Znači, ono što mu je primarni zadatak je da može da ćaska. Da bi to postigao mora da napravi statistički model jezika. Da bi to uradio, daš mu milion tekstova, Onda se AI istrenira i poznaje jezik.

Sada, ako mu dodaš milion i prvi tekst, njegovo POZNAVANJE JEZIKA se neće promeniti značajno. O tome Dimke piše kada pominje troškove učenja.
Trošak zaključivanja je nešto potpuno drugo. Kada je AI razumeo ulaz korisnika, a to postiže kroz trening mreže koja prepoznaje jezik, onda treba da formira neki odgovor - zaključak. E to se ažurira sa novim informacijama.

I još jedna stvar, AI (ChatGPT) NIJE SERVIS ZA PRETRAŽIVANJE INTERNETA. To radi Google, i to mnogo bolje, a ne koristi AI.
 
Odgovor na temu

lega99

Član broj: 82119
Poruke: 1087



+16 Profil

icon Re: Da li biti programer? Buducnost profesije11.02.2023. u 14:35 - pre 14 meseci
@djoka_l,

Hvala na objasnjenju, ja sam drugacije shvatio cemu to sluzi. Znaci ovo mi je bilo bitno da znam :onda treba da formira neki odgovor - zaključak. E to se ažurira sa novim informacijama. Sam chatGPT me je doveo u zabludu potencirajuci da sve sto zna je do 2021 a posle toga nista ne postoji za njega.
 
Odgovor na temu

Onaj_od_pre

Član broj: 347554
Poruke: 250
*.dynamic.a1.rs.

Sajt: https://tomstudiopark.com


+20 Profil

icon Re: Da li biti programer? Buducnost profesije11.02.2023. u 15:04 - pre 14 meseci
ChatGPT nije samo čet bot. Po pričama moćnih ljudi, koji ulažu milijarde dolara... on zaista može da zameni google u nekim oblastima. I google i wikipediju i bilo šta što je za početak tekstualnog oblika. ChatGPT može samo da se razvija na bolje, na gore ne može. Sad je problem infrastruktura... jednostavno serveri su prebukirani... ali u budućnosti ChatGPT će biti u stanju da napiše knjigu na neku temu. Na primer postaviš mu pitanje: Šta sve znaš o drugom svetskom ratu? I on ti 'saspe' ogromnu količinu informacija.

Sam sistem nije problem, problem je verodostojnost takvih informacija. Jer je danas internet prepun 'šuma' i mnogo netačnih informacija. Ali šta je tu je.
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
2a02:a212:92bb:7e80:90c7:93e..



+7174 Profil

icon Re: Da li biti programer? Buducnost profesije11.02.2023. u 18:01 - pre 14 meseci
Citat:
lega99:
Citat:
Ivan Dimkovic: Svaki model ima trosak za ucenje i trosak za zakljucivanje. Treniranje modela moze biti inkrementalno i vrlo verovatno posle inicijalne faze ne igra previse bitnu ulogu u racunu za neki masovni servis - zakljucivanje je dominantno.


Ne kapiram, zakljucas i onda ce prog da postane prorok jer sve posle toga sto se desi a nema pristupa tim informacijama za njega to ne postoji ili ce biti prorok i lupetati.


Procitaj ponovo i obrati paznju na rec “inkrementalno”.
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

lega99

Član broj: 82119
Poruke: 1087



+16 Profil

icon Re: Da li biti programer? Buducnost profesije13.02.2023. u 13:47 - pre 14 meseci
ChatGPT je rekao;

Citat:
"Inkrementalno" znači da se nešto postepeno povećava ili unapređuje u malim koracima ili "inkrementima", umjesto da se to radi u jednom velikom skoku ili promjeni.

Meni kao obicnom smrtniku nikad nije napisano da chatGPT ima inkrementalno zakljucavanje, samprogram je uvek ponaljvlja da je zakljucan na 2021 godini.
Ako se prmeni ovaj tvoj termin na zaklucvanje a nisu napisali da su to uradili, to znaci mic po mic dodavacemo nesto i to kako nam padne na pamet. Meni je logicnije da se dodaje posle
kad se nakupi neki eo koji nije obuhvacen i za koji se posebno istrenira sistem i onda se doda. Sta ce tu biti laz a sta istina to vec lici na Orvella, dnevna istina koja sutra vise ne vazi. Mozda sam ja suvise star i glup
odrastao sam od pocetne faze busenih kartica do mocnih mainfame masina i sad mocnih PC.. Vreme ce pokazati svoje...Nisam obucen niti ucen za AI pa prihvatam da je zeleno sutra plavo jer AI tako kaze. Prihvatam ali ne verujem, zavrsavam diskusiju.
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
2a02:a212:92bb:7e80:fef6:590..



+7174 Profil

icon Re: Da li biti programer? Buducnost profesije13.02.2023. u 15:55 - pre 14 meseci
ChatGPT je demonstrator tehnologija koje OpenAI nudi, oni su ga zakljucali na podatke do 2021 iz svojih razloga (verovatno zato sto je u pitanju demonstrator, kontinualno ucenje zahteva ljudske resurse koji bi taj materijal obezbedjivali i kontrolisali rezultate - to ce verovatno biti slucaj sa uslugama koje ce nuditi Microsoft).

Izmedju ostalog, OpenAI komercijalni modeli dozvoljavaju naknadno ucenje, evo i cenovnika: https://openai.com/api/pricing/

Na tebi je, kao arhitekti nekog resenja koje koristi ovu vrstu jezickih modela da odlucis o strategiji ucenja.


DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

brainbuger

Član broj: 9647
Poruke: 440
*.beanfield.net.



+52 Profil

icon Re: Da li biti programer? Buducnost profesije13.02.2023. u 19:21 - pre 14 meseci
Citat:
Ivan Dimkovic: Svaki model ima trosak za ucenje i trosak za zakljucivanje. Treniranje modela moze biti inkrementalno i vrlo verovatno posle inicijalne faze ne igra previse bitnu ulogu u racunu za neki masovni servis - zakljucivanje je dominantno.


Da, tako sam i pretpostavljao. Što se tiče zaključivanja, moram da pitam još nešto da vidim da li sam razumeo taj deo.

Dakle, ako model postane istreniran (recimo da nema potrebe za daljim inkrementalnim treninzima) da li se tada može odraditi faza zaključivanja i stvar postaje donekle spremna za korisničke upite (koji bi onda zahtevali minimum resursa). Ili je zaključivanje ipak trajan proces koji mora ostati da šljaka čak i tokom interackije sa korisnikom dok šalje upite?

Jer ovo me je zbunilo:

Citat:
djoka_l: Ne postoji. Bez obzira koliko je mreža istrenirana, i dalje se množi matrica vektorom (puno matrica sa puno vektora). Može, ako smanjiš broj ulaza ili neurona, a ne zavisi od toga koji su težinski faktori...


Cenim da je Djoka mislio na obradu zahteva korisnika, jer ti ulazni podaci opet moraju prolaziti kroz neuronsku mrežu i samim tim zahtevaju nekakav minimalan processing.

Jer nije mi jasno šta bi drugo nakon istreniranog sistema i izvedenih zaključaka opet iznova masovno množilo vektore i matrice.
 
Odgovor na temu

brainbuger

Član broj: 9647
Poruke: 440
*.beanfield.net.



+52 Profil

icon Re: Da li biti programer? Buducnost profesije13.02.2023. u 19:30 - pre 14 meseci
@Dimkovic

Pisao si beše u nekoj drugoj temi da si probao model. Čisto me zanima jesi bukvalno dizao na Nvidia GPU mašinama na cloud ili si mislio na probavanje na DaVinčiju?
Ako je ovo prvo, podeli kad stigneš nekad link / howto ako ima, čisto me zanima kako proces izgleda i koji su resursi potrebni.
 
Odgovor na temu

brainbuger

Član broj: 9647
Poruke: 440
*.beanfield.net.



+52 Profil

icon Re: Da li biti programer? Buducnost profesije13.02.2023. u 19:42 - pre 14 meseci
Nešto od interesa za temu, ako je verovati, WEF (World Economic Forum) predvidjanja do 2025:
https://www.weforum.org/report...ure-of-jobs-report-2020/digest

Citat:

- AI will take 85 million jobs in 5 years
- Expects 97 million new jobs will be generated


 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
2a02:a212:92bb:7e80:fef6:590..



+7174 Profil

icon Re: Da li biti programer? Buducnost profesije14.02.2023. u 07:29 - pre 14 meseci
Citat:
brainbuger:
@Dimkovic

Pisao si beše u nekoj drugoj temi da si probao model. Čisto me zanima jesi bukvalno dizao na Nvidia GPU mašinama na cloud ili si mislio na probavanje na DaVinčiju?
Ako je ovo prvo, podeli kad stigneš nekad link / howto ako ima, čisto me zanima kako proces izgleda i koji su resursi potrebni.


Ne, probao sam one klonove GPT-a (vidi npr: https://huggingface.co/docs/transformers/model_doc/gptj)

4chan model je uklonjen ali nije tesko naci backup.

Ovi modeli su ocigledno slabiji od GPT 3.x, ali idiotski diskurs sa 4chan/pol ne zahteva mnogo mocan AI za replikaciju.

Mozes komotno sve da dignes u docker kontejneru i trcis pod WSL2 u Win11 - CUDA akceleracija je podrzana, tako da ti samo treba OK hardver, idealno GPU sa 24 GB RAM-a (mada imas i float32 model za CPU).
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
2a02:a212:92bb:7e80:fef6:590..



+7174 Profil

icon Re: Da li biti programer? Buducnost profesije14.02.2023. u 07:39 - pre 14 meseci
Citat:
brainbuger:
Citat:
Ivan Dimkovic: Svaki model ima trosak za ucenje i trosak za zakljucivanje. Treniranje modela moze biti inkrementalno i vrlo verovatno posle inicijalne faze ne igra previse bitnu ulogu u racunu za neki masovni servis - zakljucivanje je dominantno.


Da, tako sam i pretpostavljao. Što se tiče zaključivanja, moram da pitam još nešto da vidim da li sam razumeo taj deo.

Dakle, ako model postane istreniran (recimo da nema potrebe za daljim inkrementalnim treninzima) da li se tada može odraditi faza zaključivanja i stvar postaje donekle spremna za korisničke upite (koji bi onda zahtevali minimum resursa). Ili je zaključivanje ipak trajan proces koji mora ostati da šljaka čak i tokom interackije sa korisnikom dok šalje upite?


Ne postoji nikakvo "zakljucavanje" - mozes prestati proces treniranja u bilo kom momentu, kao sto uvek mozes uzeti vec trenirani model i zapoceti dodatni proces treniranja ("fine tuning" u terminologiji jezickih modela, posto je tipicno da dodatni materijal za trening predstavlja mali % originalnog korpusa).


Citat:

Jer ovo me je zbunilo:

Citat:
djoka_l: Ne postoji. Bez obzira koliko je mreža istrenirana, i dalje se množi matrica vektorom (puno matrica sa puno vektora). Može, ako smanjiš broj ulaza ili neurona, a ne zavisi od toga koji su težinski faktori...


Cenim da je Djoka mislio na obradu zahteva korisnika, jer ti ulazni podaci opet moraju prolaziti kroz neuronsku mrežu i samim tim zahtevaju nekakav minimalan processing.

Jer nije mi jasno šta bi drugo nakon istreniranog sistema i izvedenih zaključaka opet iznova masovno množilo vektore i matrice.


Da, prica je bila o zaobilazenju ponovnog prolaza, ali je problem ako zelis bilo sta drugo osim egzaktnog uporedjivanja da ces morati da koristis neki drugi model koji bi merio "slicnost" prompta sa vec kesiranim.
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

lega99

Član broj: 82119
Poruke: 1087



+16 Profil

icon Re: Da li biti programer? Buducnost profesije15.02.2023. u 20:48 - pre 14 meseci
Ikao sam napisao da necu vise diskutovati na ovu temu ovo danas me je potaklo pa pomislim da sto se tice raznih skripti i programiranja neko sedi i to radi. Trazio sam nesto jednostavno i nisam nasao, zadao parametre chatGPT, napravi python skriptu za motion detect. E sad sto sam prosirio zahtev da to budu slike na video i da ih belezi na disku to je postalo nocna mora za chatGPT. Dobijam utisak da tamo neki programer je pozurio da se pokaze pa je chatGPT zaboravljao na include koji je obavezan i potreban, jednostavno nema ga u kodu, provalim, chatGPT se izvinjava i vec sledeci potez zaboravi neku promenjivu i tako satima jurimo se on gresi ja mu saljem greske koje izbacuje program, chatGPT se izvinjava. U jednom trenutku pocinje deja vu, nudi gotove programe koji meni ne trebaju, nudi neka komplikovana resenja koja nikad do sad nije uspeo da dovede do kraja i da to radi. Minorni zhtevi prosirenja funkcije programa dovode do totalnog sludjivanja programa, izostavljati include koji je prva stavka u programu i potreban je odredjeni include za odredjenu namenu za mene je to katastrofa logike i inteligencije.
 
Odgovor na temu

brainbuger

Član broj: 9647
Poruke: 440
*.beanfield.net.



+52 Profil

icon Re: Da li biti programer? Buducnost profesije16.02.2023. u 21:45 - pre 14 meseci
Citat:
Ivan Dimkovic
Mozes komotno sve da dignes u docker kontejneru i trcis pod WSL2 u Win11 - CUDA akceleracija je podrzana, tako da ti samo treba OK hardver, idealno GPU sa 24 GB RAM-a (mada imas i float32 model za CPU).


Mrzelo me da akam svoj laptop pa sam podigao jedan Ubuntu na aws čisto da se poigram ;) To je p3.xlarge a unutra mu dodje Tesla V100 sa 16 GB, košta $1/h ako je dignem kao spot. Izigram se malo i ubijem kad mi dosadi :)

Inače, hvala za predlog na GPT-J i docker, našao sam neki repo za GPT-j 6B, ima sve šta treba instalirati. Čisto ako nekom uopšte zatreba:

https://github.com/devforth/gp...gpu-docker/blob/main/README.md

Ono što me jedino zezalo je korak "NVIDIA Container Toolkit" tu mora da se pažljivo očisti stari Docker ako je na mašini i reinstalira uz Nvidia dodatak. Jer u suprotnom neće CUDA da radi u kontejneru bez njega.
https://medium.com/@linhlinhle...0-on-ubuntu-18-04-da3eac6ec494

Model se podigne jako brzo, svega par sekundi i slusa na http://0.0.0.0:8080 i možeš odmah da lupaš curl ;)

Citat:
curl -d '{"text":"What is elite security?"}' -H "Content-Type: application/json" -X POST http://localhost:8080/generate/

{"completion":"What is elite security? It’s about creating a climate in which you don’t have to worry about things like shootings and carjacking.\n\nIt’s about creating a safe, inviting environment where people feel comfortable and are not at risk of becoming a victim. It’s about not worrying about what might happen when you go out to a club or a movie or a concert.\n\nWhat


Što se brzine tiče, odgovora momentalno, nisam probavao sa paralelnim upitima, možda sledeći put :P



[Ovu poruku je menjao brainbuger dana 16.02.2023. u 22:58 GMT+1]
 
Odgovor na temu

brainbuger

Član broj: 9647
Poruke: 440
*.beanfield.net.



+52 Profil

icon Re: Da li biti programer? Buducnost profesije16.02.2023. u 21:56 - pre 14 meseci
Citat:
Ivan Dimkovic: idiotski diskurs sa 4chan/pol ne zahteva mnogo mocan AI za replikaciju.


Koja sprdnja ovo za 4chan, tražio sam docker rekoh ako ima "na gotovo" da probam ali nema,

Zanimljiva mi je i ta reakcija mase na "politically incorrect" u smislu kao da je model odmah privlačniji i realniji čim psuje ko kočijaš.
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
2a02:a212:92bb:7e80:f16a:990..



+7174 Profil

icon Re: Da li biti programer? Buducnost profesije17.02.2023. u 08:21 - pre 14 meseci
Imas modele (float i int) na vise mesta (i torentu), ali mislim da sam morao da budzim skripte da to proradi kod mene.

Kad proradi, dobices odgovore koji nisu razliciti od onoga sto bi dobio na 4chan-u :-)
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
..92bb:7e80:bc39:c51:61d8:f092



+7174 Profil

icon Re: Da li biti programer? Buducnost profesije19.02.2023. u 19:02 - pre 14 meseci
@brainbuger,

Imas sad i nesto slicno ChatGPT-u kao open source:

https://www.hpc-ai.tech/blog/colossal-ai-chatgpt
https://github.com/hpcaitech/ColossalAI

Doduse, tesko da ces moci da teras najveci model koji ima identican broj parametara kao original (175 milijardi)

Na RTX3080 mogu da teraju model sa 0.35B parametara, a na A100 40GB mogu da teraju 1.3B. A100 80G moze da trci 3.5B model.

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

[es] :: Vodič za posao :: Da li biti programer? Buducnost profesije
(TOP topic, by Nebojsa Milanovic)
Strane: << < .. 65 66 67 68 69 70 71 72 73 74 ... Dalje > >>

[ Pregleda: 267678 | Odgovora: 1523 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.