Da li biti programer? Buducnost profesije

New idea? Vrlo matora - u teoriji efikasnije, u praksi nemoguce za smisleno treniranje.

LSM, Spiking, Liquid NN i sl. su ekspanzija u vremenaki domen gde je stanje neurona opissno nizom diferencijalnih jednacina. Ukombinovano sa specijalizovanim analognim kolima, u teoriji drasticno manje zahtevno po pitanju potrosnje.

Na zalost, ne postoji poznat ekvivalent backpropagaciji, bilo sta uradjeno po pitanju ucenja je pateticno u odnosu na uspehe sa CNN/RNN/LLM modelina baziranim na jednostavnijem modelu.

Dok se to ne resi, te stvari su kuriozitet - a nije da je ponestajalo pokusaja.

Jedini izuzetak je konverzija vec natreniranih mreza gde se dobija na ustedi u racunanju ali slaba je to uteha.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Ne znam, deluje manje zahtevno i svesnije/smislenije (pa i upotrebljivije) od onog 'nabadam pa sta ubodem pa sta mi kazu da im se svidja to prihvatim i nastavim'

To je opasna zabluda. Samo zato sto nesto “deluje” bilo kako, samo po sebi ne znaci nista.

Priznaje se samo ono sto radi. Za sada to nisu “tecni” neuroni.

Kolicina znanja u vezi sa ucenjem koje je sakupljeno na “deep” mrezama je sada eonima ispred primitivnih (“Hebb-ijskih”) mera koje apliciraju na spiking / liquid mreze.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

https://blog.roboflow.com/gpt-4-vision/

Ludilo...

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Kad su već pomenute te Liquid NN, ne znam da li je bilo ovde na prethodnim stranicama, mehaničke neuronske mreže:

Potpis

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

Imas jos jednostavnije - stvarno "liquid", kofa vode:

https://link.springer.com/chapter/10.1007/978-3-540-39432-7_63
https://autobencoder.com/2021-04-05-bucket/



Svakako impresivno, ali glavni problem je kontrola ucenja svih tih arhitektura.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

U moru clanaka na nasim medijskim portalima, sve u stilu: propade Nemacka, Zapad tone, Rusija cveta, krece III svetski rat, samo Srbi opstaju ... danas je osvanulo i ovo:

Šef Nvidije: Deco, manite se programiranja

Znaci, sada propadose i IT karijere, hahaha ...

Fali ovde neka nula.... ? :D

Potpis

Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'

Vidi se da im treba AI da im pise clanke :-)

Programiranje treba uciti/znati iz hobija, formira ispravan logicki nacin razmisljanja sa manjom sansom da covek bude vacaren u zivotu.

Sto se profesionalne strane tice, na duzi rok je nemoguce praviti predvidjanja... ako AI nastavi trajektorijom kojom se krece u proteklih 5-10 godina, trziste za programere ce biti drasticno manje ali verovatno i zahtevnije, pa ce se ta struka vratiti u neki stari okvir 80-tih / 90-tih sto se "ekskluzivnosti" tice. Neko ipak treba da radi na razvoju i integraciji tih AI sistema, ali to je drasticno manje trziste nego ovo danas.

Sa druge strane, prvi poslovi koji ce odleteti su gomila kancelarijskih poslova koje ce zameniti Microsoft 365 Copilot, a onda i silina marketinskih i dizajnerskih poslova koje ce isto zameniti generativni AI.

Najsigurnija varijanta su zanati tj. "skills" koji zahtevaju fizicki posao i vestine, posto ce neki AI roboti doci najkasnije od svega sto se desava.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Ja se profesionalno bavim programiranjem 30 godina, 40 ako se računa od kada sa napisao prvi program.
Svih 40 godina ista priča - ovaj novi ultra/hiper/super alat će zameniti programianje, pa će svi, čak i ako ne znaju da programiraju, napraviti aplikaciju sa nekoliko jednostavnih komandi/klika mišem.
I svaki takav alat može da napravi aplikaciju iFart, ali ni jedan ne napravi bilo šta korisno.

Ovaj hype sa AI je prolazna stvar. Da, AI će postati bolji, ali AI, onako kako sada radi je na svojim granicama. Nekada se isto pričalo za ekspertske sisteme, da kažem ono što je bazirano na rule based engine koji pokušava da emulira razmišljanje eksperta, pa je tu problem što ekspert ne zna u svakom momentu da objasni kako je došao do rešenja.
Neuralne mreže imaju problem drugog tipa, potreban im je GOMILA podataka za trening, ogromni modeli sa milijardama i trilionima parametrima koji zahtevaju nenormalne računarske resurse, pa se opet dobijaju rezultati koji su statistički dobri, ali kada ne rade dobro, onda rade katastrofalno.

Verovatno ćemo u nekom momentu doći do druge paradigme za razvoj AI, tipa kontekstualnog učenja na malom broju primera, ali još se nije iskristalistala metodologija i nauka koja bi stajala iza takvih modela.

Ja ne bih bio tako siguran.

Google vec privatno beta testira Gemini Pro sa 1M kontekstom - u stanju je da odgovara na detalje iz debelih knjiga koje mu zadas >u kontekstu<. To moze biti tvoja kompletna baza koda.

Danas je takva tehnologija neprimenljiva u kuci, cak ce verovatno i cloud-side biti vrlo skupa neko vreme - ali "sve" sto je potrebno da se to omasovi je razvoj hardvera, i nije dzabe NVIDIA vredna koliko vredi danas. To nije nikakav hype vec, sada, izvesna realnost. Ne samo da teorijska baza vec postoji, vec postoje privatni modeli kao sto je Gemini Pro koji su solidno ispred mogucnosti onoga sto ljudi dobijaju sa GPT-4. Ono sto ce sigurno desiti u sledecih 5 godina je >rapidni< razvoj hardvera koji ce moci da trci mnogo vece modele. Treniranje je problem, ali nije problem nekolicini kompanija koje ce biti gospodari ovog polja neko vreme.

Ne bih uopste poredio ovo sto se desava sa ekspertskim sistemima - bukvalno je razvoj brzi nego sto mozes da pohvatas, i prilicno je uspesan (videti koliko se povecava kvalitet odgovora cak i Open Source LLM-ova, kamo li onoga na cemu rade OpenAI / Google / Meta / Microsoft).

Vrlo brzo ce vodeci LLM-ovi biti iznad nivoa junior programera za vecinu "grind" poslova, a takvih je vecina u IT-u. Da, bice uvek posla za eksperte i vrlo verovatno ce ti poslovi postati drasticno zahtevniji (bas kao sto su danas zahtevniji nego pre 30 godina) ali za CRUD-style "sljakanje" bih bio svakako zabrninut.

Alternativa je da se takodje skaliraju zahtevi trzista tako da buduci softver bude drasticno bolji i kompleksniji... ali to ce biti vrlo zeznuta opklada.

Mislim, ko zeli da postane ekspert u nekom domenu, nista se nije promenilo (osim sto ce vrlo verovatno dosta koristiti AI, kao neumoran tim "juniora").. ali za jednostavnu sljaku, ne bih smeo da se kladim da ce to da opstane.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Skoro sam video jedan post koji kaže da programeri neće izgubiti poslove zbog AI. Posao će izgubiti oni programeri koji ne koriste AI.
Tako da i dalje AI treba percipirati pre kao asistenta, nego kao zamenu za programera...

Recimo, ja sam ubacio Cody AI u moj VSC. Stvarno, može da oslobodi dosadnog rada, tipa da ubaci komentare, da skoro ispravno doda unit testove, ili da napravi grubu skicu modula na kojem renutno radim.
Nijednom nije iz prve napravio program koji radi ono što sam tražio da radi, ali napravi grubi kostur koji može da mi uštedi pola sata programiranja.

Probaj placeni GitHub Copilot - a to je tehnologija stara 2 godine.

Meni pala vilica kad krene da ti nastavlja kod i komentare posle nekog vremena.

Sad zamisli to isto, ali sa LLM modelom sa velicinom od 1M tokena - danas, nerentabilno (ali vec u beta testu)... za nekoliko godina, realnost.

Problem koji ce to stvoriti je upravo problem junior / "sljaker" dev-ova, njih ce upravo taj AI da zameni. Sigurno bar neko vreme nece AI moci da zameni iskusnog domenskog eksperta (mada, ne bih se kladio ni u to iskreno) ali umesto 10 ljudi od kojih su 1-2 pro, a ostali rade "grind work" ovih 8 su u ozbiljnom problemu sa karijerom ako mene pitas.

Jedino ako, kao sto rekoh, sami zahtevi kupaca ne eksplodiraju, sto naravno moze da se desi i upravo je nesto sto je nemoguce predvideti, pa da sve zajedno "poraste" kao sto se desavalo i svaki put do sada (pogledaj samo danas sta sve radis uz pomoc pun q framework-a i RAD alata, a kako si radio pre 30-40 godina u nekom DOS IDE-u).

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

https://developers.googleblog....w-in-google-ai-studio.html?m=1

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Buducnost profesije nije svetla.
U nekom trenutku u buducnosti AI ce napredovati toliko da ce postovanje ljudskih konvencija pisanja koda i koriscenje jezika visokih nivoa razumljivih ljudima biti kocnica koja ce usporiti dalji razvoj.
AI ce biti u stanju da razvije svoje alate i odrzava kodnu bazu u formi koju perfektno razume a u koju ce ljudi gledati ko tele u sarena vrata.
Tada ce dobar broj kodera izvisiti, i pocece da kupuju keramicarske i vodoinstalaterske alate, i da traze nove izvore zarade.

Potpis

Low-level high-standard engineering.

Pa nece izvisiti samo koderi u it-u, pravi 'masakr' ce se desiti nad devops-om, content&seo glupostima, servis i sl. arhitektama, dizajnerima, komercijalistima i hr-om.

Mislim, ne znam odakle je dosla buva da ce koderi izvisiti prvi, u stvari, generalno, najveci procenat 'prezivljavanja' u profesiji ce biti medju njima, jer ce se prvi adaptirati. Doduse verovatno ce se raditi o jednocifrenom procentu.

Koderi definitivno nisu prvi na listi... prvi na listi su definitivno sa dejanet-ove liste, Microsoft 365 Copilot ima da zbrise dobar deo "vojske" korporacija, a taman je doslo "na zicer" sa "work from home" programima, ima da bude "sad mozete i da ostanete kuci".

Inace, skoro sam imao neki problem sa migracijom sa GoDaddy na Microsoft 365, neka za*bancija oko domena... procitam na netu da mora podrska da se zove, da se eskalira na drugi nivo, dok neko ko zna sta je ne uradi sta treba (da ukloni domen iz liste pridruzene GoDaddy-jevom specijalnom nalogu sa MSFT-om).

Elem, odem ja na support... ne mozes da nadjes koje ljudsko bice da zoves, ali predloze neki novi AI bazirani chat... iz starog iskustva, ja rekoh bacanje vremena, al' ajde da probam. Elem, chat je razresio problem kako treba, na moj sok :) Juce su dosli po "Support", sutra dolaze po druge back-office funkcije :)

Meni je u celoj prici fantasticno kako se Microsoft transformisao i vrlo vestim potezima postao, prakticno, lider u tom polju.

Evo danas su najavili duboku saradnju sa Mistral-om (https://azure.microsoft.com/en...-mistral-large-first-on-azure/) - a Mistral je, u isto vreme, objavio svoj novi "large" model koji, naravno, nije "Open Source", vec ga mozete probati na Azure platformi ;-)

https://mistral.ai/news/mistral-large/

Microsoft ovim drzi i OpenAI pod kontrolom, ono cisto da se zna da postoji alternativa ako OpenAI opet krene da pravi haos kao pre koji mesec.

Satya Nadella je najza*baniji igrac u industriji ove decenije.

Potpis

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Pogledaš samo kako se , posle mnogo godina klackanja, akcija MSFT kretala od kako je Satya došao - i sve je jasno.

Može se lako naći podatak koliko je Gates izgubio prodajom svojih MSFT akcija radi diverzifikacije i kupovone drugih, takođe vrhunskih firmi (znam ih praktično sve).

Da nije prodao nijednu MSFT akciju, odnosno da je nastavio samo da drži ono što je inicijalno dobio, Gates bi danas bio 8-10 puta bogatiji nego što sada jeste.

Ne znam za pro verziju, ali evo odgovora kada ovu "običnu" (koja je prethodno bila Bard) pitam zašto promenljive deklariše sa let u vim9 script:


Bukvalno svaka linija u tom kodu je pogrešna. Isto je tako kada sve te LLM-e pitaš neke druge malo kompleksnije stvari, počnu da u odgovorima daju pogrešan kod, izmišljene biblioteke, itd.