Koje algoritme umjetne inteligencije otvorenog koda može podnijeti vaša grafička kartica? Ovaj besplatni web alat pomoći će vam da izračunate u sekundama!

Iako sada postoji sve više i više AI modela otvorenog koda, oni također postaju sve hardverski zahtjevniji. Međutim, običnim ljudima je teško shvatiti “Je li moje računalo dovoljno snažno?” Nedavno je pokrenut besplatni web alat koji može brzo utvrditi može li računalo pokrenuti određeni AI model na temelju kapaciteta VRAM-a. Čak podržava i RTX 3060 i Apple M seriju čipova.

Ovaj web alat, nazvan “LLM Inference: VRAM & Performance Calculator”, ima za cilj “pomoći vam da shvatite može li vaše računalo pokrenuti određeni LLM”.

Nevjerojatno je jednostavan za korištenje:

• Odaberite model umjetne inteligencije koji želite pokrenuti (kao što je DeepSeek-R1, Llama 3 itd.)
• Odaberite GPU ili Apple Silicon uređaj koji se koristi u vašem računalu

Sustav će automatski prikazati VRAM potreban za model, dostupan VRAM vaše grafičke kartice i može li se pokrenuti

Na primjer, prema zadanim postavkama, odabran je model DeepSeek-R1 3B i uparen s RTX 3060 (12 GB). Rezultati pokazuju da je stopa iskorištenosti VRAM-a 66,8%, što može funkcionirati glatko.

Je li model prevelik za obradu? Možete koristiti više grafičkih procesora za paralelno izvršavanje izračuna.

Alat također podržava paralelno simulacijsko testiranje s više GPU-ova. Na primjer, vrlo veliki model poput LLaMA 3 70B ne može se pokrenuti na jednom H100 (80GB) GPU-u, ali ako odaberete “3 H100 paralelno”, sustav će naznačiti da je to podržano. Ovo je vrlo korisno za one koji planiraju izgraditi AI servere, a može poslužiti i kao referenca za planiranje nadogradnje opreme.

Na dnu zaslona nalazi se i značajka “Simulacija brzine zaključivanja” koja koristi animaciju za prikaz brzine generiranja teksta AI modela. Iako ovo nije stvarno izvršenje, može vam pomoći da shvatite razlike u performansama, poput toga koliko je brže generiranje teksta na različitim GPU-ima ili modelima.

Alat je potpuno besplatan za korištenje i ne zahtijeva registraciju ili prijavu.