Citat:
Ivan Dimkovic:
Ovde se moze otkriti nesto mozda oko kesiranja i optimizacija - ako naplacuju 6x vise za dodatno natreniran model, mozda je jedan deo zbog manje optimizacija koje mogu da primene.
Da, to već ima smisla. 6 puta je 6 puta. Neko ko bi dizao sopstveni model na trenažu svakako ne bi hteo nepotreban keš koji bi mu "seckao" trening. U smislu da je na neki način, svaki taj query bitna "kapljica" za bazen.
Sa druge strane, keširanje im je verovatno nužno jer ionako sagorevaju opasno brdo love svaki sat. Svaki keširan query može da sačuva na hiljade $.
Baš u tom smislu, čaprkao sam malo oko tih cifri za hosting, ono, čisto da probam da dobijem neku sliku koliko para sagoreva igračka na dan. Sve kritike i ispravke na ovo ispod su dobrodošle! ;-)
Dakle, Goldstein je dao neku početnu kalkulaciju baziranu prema mogućnostima Nvidia A100 GPU (mada ovi verovatno koriste šta im MS daje na Azuru i po ko zna kojim dilovima ali ajde).
https://twitter.com/tomgoldsteincs/status/1600196986514251776
Profa je došao do $0.01 po query-ju ako se uzme da je nekih 20-30 reči prosečan query (što je naravno isto teška šacometrija ali ajde da krenemo od nečeg).
Ako uzmemo da je početkom Dec 2022 kad je Goldstein računao bilo oko 1 milion aktivnih korisnika a da ih danas ima već preko 100 miliona (prema Rojtersu) i da uzmemo da je od toga +10 miliona aktivnih tokom dana.
Ako prosečan korisnik izudara nekih 10 query-ja danas (da uzmemo neki low estimate izmedju onih koji se malo poigraju i odu <-> ekstrema koji izudaraju stotine svaki dan). Bez keširanja, brojka bi bila:
Citat:
10,000,000 x 0.01 x 10 = 1M
Čak i uz optimizacije + nešto love od Plus verzije + resursi koje Microsoft ulaže, ostaje fakat da igračka sagoreva planinu love dnevno. Biće zanimljivo pratiti kako će stvar dalje evoluirati i u kojim smerovima.
Kako je i sam osnivač Altman izjavio
"We will have to monetize it somehow at some point; the compute costs are eye-watering” https://twitter.com/sama/status/1599669571795185665
Citat:
Ivan Dimkovic:
sto znaci da $1 kupuje 37500 reci
Nešto se pitam, da li postoji barem neka teorijska mogućnost da model dodje do tačke kada je već toliko nakupio istreniranog "znanja" da im ostaje da ga samo optimizuju i primaju povremeno novi update. U smislu, jel mogu kod AI ovog tipa troškovi vremenom početi da opadaju jer nije više ista količina processinga potrebna?