@Dimkovic, Poigrao sam se danas, evo nekih rezultata i par pitanja ako neko ima ideju.
Dakle, podignem AI kontejner na V100 sa 16 GB i onda dodatno instaliram ChatGPT na njemu.
https://github.com/hpcaitech/C...tree/main/applications/ChatGPT
Nakon toga pokrenem treniranje i sasvim fino odradi, drži GPU na 90% ali ne puca.
python train_dummy.py --strategy naive
Imaju i treniranje svojim promtovima iz csv ako zatreba, i to radi ok:
python train_prompts.py prompts.csv --strategy naive
Medjutim, ne vidim kako mogu da dobijem bilo kakav interfejs za interakciju sa modelom (curl ili slično)? Jesam li ja nešto pobrljavio ovde izgleda ili prosto Colossal nije ni uključio taj API sloj jer su se pre svega fokusirali na optimizaciju treniranja. Možda za neki drugi model ali kod njihovog ChatGPT nisam uspeo da pronadjem ništa.
Ovo je recimo njihova implementacija Fejsbukovog OPT modela, koliko vidim on isto može da roka do 175B. Vidim da ima nekih par primer skripti kako bi se dobio API interfejs sa Fastapi. Možda probam neki od ovih dana da nabudžim skripte za njega
https://github.com/hpcaitech/C...l/opt/inference/opt_fastapi.py
Eto, rekoh čisto da podelim da vidim idem li u dobrom smeru.
[Ovu poruku je menjao brainbuger dana 22.02.2023. u 21:06 GMT+1]