Za te svrhe nije uopste potrebno upumpati pare koje je Microsoft upumpao. Za pocetak, MS je rani ulagac - posao koji su uradili Google/DeepMind, Facebook, OpenAI, Microsoft i sl. je enorman i najskuplji deo price. Mnoge stvari koje su resene i koje se resavaju u toku razvoja LLM-a ce omoguciti novim igracima da udju u pricu sa daleko manjim budzetom.
Npr, 'precice' koje se upravo pronalaze omogucavaju drasticno nize troskove treniranja:
https://www.hackster.io/news/a...-won-t-fleece-you-cd133fec7412
Citat:
Alpaca builds on LLaMA to make large language models more accessible, demonstrating that they can be retrained for new uses for under $600.
Ne, to nije GPT-4, nije ni GPT-3.5 jos, ali polako. To je neminovno. I ne samo to, hardver postaje jaci i dostupniji - uskoro ces na AWS-u moci da uposlis na hiljade H100 akceleratora i za mesec dana natreniras nesto sto nije ni bilo moguce pre nekoliko godina. To nece biti dzabe, kostace mozda koji milion $ (verovatno manje za gomilu stvari) - to jesu velike pare za pojedinca, ali to je kikiriki za bilo koju ozbiljnu organizaciju, a konzervativci ih imaju o-ho, bas kao i ekipa na levoj strani.
Tako da, bez brige, bice i 'konzervativnih' LLM parametera mada iskreno gadi mi se i jedna i druga struja kada se radi o kulturnom ratu, posto je vec dugo vremena prihvaceno da je OK lupati i siriti BS sve dok je to
"nas BS". To je prihvatanje zablude i manipulacije ne kao validnih vec kao pozeljnih ili cak u ekstremu jedinih sredstava komunikacije, zato sto se sve trpa u nekakvu "borbu".
To je mehur (bolje reci blato) u kome covek ne mora da bude, a kada su LLM-ovi u pitanju, 'fala bogu pa postoji jako puno pametnijih primena koje nisu nikakav "rat".
Citat:
Ja ne znam zapravo, a ti si ultrainformisan, postoji li uopšte ogromna IT-like kompanija koja nije liberalna već konzervativna i sme to da iskaže javno bez straha od cancel sankcija? Elon Musk nije liberal u onom brutalnom smislu, ali nije ni konzervativac, a uz to već je popio dosta hejta potezima sa Tviterom (zapravo oslobađanjem tvitera od liberalne okupacije)... nisam siguran koliko bi on tu imao interesa da talasa.
Maskov nekadasnji partner Peter Thiel je konzervativac do koske i ne stidi se toga i daleko od toga da je jedini.
Zapravo zabluda je da su racunarske firme u dolini po pravilu "liberalne" (tj. "progresivne" posto USA ima definiciju "liberalnog" koja se ne poklapa sa ostatkom sveta) - neke svakako jesu i neke od njih su vrlo bucne, ali more njih je i te kako konzervativno. Ne mislim na radnike vec na menadzment i, svakako, investitore.
Sto, ako malo bolje razmislis, je najlogicnija moguca stvar. Ako si kintu zaradio 'organski', boreci se za svoje mesto pod suncem, sve su sanse da ces po gomili stvari (BAR ekonomskim) biti na desnoj strani od sredine politickog spektra.
Ne zaboravi da, kada su firme (kao pravna lica, brendovi, ...) u pitanju - sve je sve marketing - ako je neka firma previse 'liberalna' sve su sanse da je to cist PR spin zato sto su im ciljne grupe mladi ljudi u urbanim centrima, a ne da su im u menadzmentu i bordu veganski anarho-hipici. Obicno ekipa koja ih vodi i koja profitira ni najmanje ne lici na ekipu kojoj valjaju sta god da valjaju.
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos:
http://www.digicortex.net/node/17 Gallery:
http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! -
https://github.com/psyq321/PowerMonkey