Hugging Face lansira HUGS — Pristupačniju alternativu za emulaciju AI modela na raznim hardverskim platformama
Hugging Face je ovaj tjedan predstavio HUGS (Hugging Face Generative AI Services), novi sustav kompatibilan s nizom hardverskih platformi, kao što su Nvidia i AMD GPU-ovi te Google TPU. Ovaj sustav ima za cilj konkurirati Nvidijinim Inference Microservices (NIMs) nudeći fleksibilniju i jeftiniju opciju za primjenu velikih jezičnih modela (LLM). HUGS se temelji na infrastrukturi otvorenog koda, uključujući Text Generation Inference (TGI) i Transformers biblioteku, što omogućava korisnicima da jednostavno pokreću unaprijed konfigurirane modele koristeći OpenAI API standard.
Ključna prednost HUGS-a je njegova niža cijena u odnosu na NIM-ove. Na AWS-u ili Google Cloudu, svaki kontejner HUGS-a košta otprilike 1 USD po satu, što je konkurentno s Nvidijinim modelom cijena. Na primjer, implementacija velikih modela kao što je Meta Llama 3.1 405B na osam GPU-ova značajno je jeftinija s HUGS-om, a korisnicima je omogućeno biranje između više hardverskih opcija umjesto ovisnosti o Nvidia hardveru.
HUGS je još uvijek u ranoj fazi razvoja i zasad podržava popularne modele poput Meta Llama 3.1, Mistral Mixtral, te Googleove i Alibabine nove modele. Hugging Face planira proširiti podršku na druge modele, uključujući Microsoftovu Phi seriju LLM, čime će dodatno povećati fleksibilnost i dostupnost korisnicima.
Za manje implementacije, Hugging Face omogućit će slike modela i na DigitalOcean platformi, dok će se troškovi računalnog vremena i dalje primjenjivati. Također, korisnici Hugging Face Enterprise Huba koji plaćaju 20 USD po korisniku mjesečno mogu HUGS implementirati na vlastitoj infrastrukturi, što dodatno pojačava fleksibilnost usluge.
