NVIDIA AI chatbot na vašem RTX GPU
NVIDIA je prošle godine predstavila AI čip u H100 GPU-u, postavši vodeća u tom segmentu. No, za prosječne korisnike, ova AI tehnologija, iako korištena u pozadini chatbotova, nije bila zanimljiva niti dostupna bez internetske veze.
Sada NVIDIA želi promijeniti to s Chat s RTX-om, platformom koja pokreće model jezika otvorenog koda za generiranje AI chatbotova na Windows računalu, bez potrebe za poslužiteljima u oblaku. Ključne značajke Chata s RTX-om su što se model jezika i podaci se nalaze na računalu, omogućujući korištenje bez internetske veze te da chatbot može čitati iz različitih formata datoteka (txt, pdf, doc/docx, xml) pohranjenih na korisničkom disku.
NVIDIA kaže da Chat s RTX sada ima status tehnološkog demoa. Nakon preuzimanja aplikacije i instalacije potrebno je povezati aplikaciju Chat s RTX s lokalno pohranjenim sadržajem na disku. Potom možete postaviti pitanje chatbotu, a on će pomoću lokalnog skupa podataka pružiti odgovore bez potrebe za pregledavanjem svih profila. Moguća je i integracija s internetom. Primjerice, RTX chatbot može tražiti informacije u nekim YouTube videozapisima. Sve što treba učiniti je kopirati URL videozapisa u aplikaciju i postaviti pitanje o video sadržaju.
NVIDIA lovi tržište prilagođenih AI čipova
Nvidia planira apsorbirati Intel u svoj industrijski lanac za pakiranje AI GPU-ova
NVIDIA planira lansirati procesor na razini računala Arm arhitekture
Chat s RTX-om i minimalne tehničke specifikacije
Kompromis za korištenje Chata s RTX-om je da će vam trebati prilično moćno računalo da biste ga pokrenuli. Ovo su specifikacije hardverskih preduvjeta:
- GPU: NVIDIA GeForce RTX 30 ili 40 serija, ili NVIDIA RTX Ampere ili Ada generacija s najmanje 8 GB VRAM-a
- RAM: 16 GB ili više
- Operativni sustav: Windows 11
- GeForce driveri: 535.11 ili noviji
Aplikacija “Chat s RTX-om” je trenutno besplatna za preuzimanje i korištenje, a NVIDIA nije specificirala hoće li aplikacija ostati besplatna ili će u budućnosti preći na model pretplate s dodatnim značajkama.
