Izgradite lokalni AI storage server za LLM i generativni AI

Uz QNAP QAI-h1290FX možete imati potpunu privatnost pri korištenju umjetne inteligencije

Kako povjerljivost podataka i računalne performanse postaju sve važnije strateške vrijednosti za poduzeća koja usvajaju AI, potražnja za privatnom, lokalnom AI infrastrukturom nastavlja rasti. Kao odgovor na te trendove, QNAP je predstavio QAI-h1290FX, Edge AI storage server nove generacije, dizajniran da omogući privatnu implementaciju velikih jezičnih modela (LLM), RAG pretraživača i generativne umjetne inteligencije.

Pokreće ga serverski AMD EPYC procesor, podržava NVIDIA RTX GPU akceleraciju i ima čak dvanaest U.2 NVMe/SATA SSD utora. Zahvaljujući tome, QAI-h1290FX pruža AI infrastrukturu visokih performansi na samoj lokaciji korisnika, za organizacije koje zahtijevaju nisku latenciju, potpunu privatnost podataka i operativnu kontrolu bez oslanjanja na oblak.

Pokretan operativnim sustavom QNAP QuTS hero koji se temelji na ZFS-u, QAI-h1290FX osigurava integritet podataka, gotovo neograničene snimke stanja i inline deduplikaciju. Podržava izvorni pristup GPU-u u kontejnerima putem Container Stationa i prosljeđivanje GPU-a za virtualne strojeve putem Virtualization Stationa. IT timovi, programeri i istraživačke grupe mogu učinkovito pokretati modele zaključivanja, aplikacije za generativni AI i RAG sustave uz potpunu kontrolu nad performansama i raspodjelom resursa.

QAI-h1290FX dolazi s pažljivo odabranim unaprijed instaliranim AI alatima, poput AnythingLLM-a, OpenWebUI-ja i Ollame, omogućavajući brzu implementaciju privatnih LLM radnih tokova. Dodatne AI aplikacije poput Stable Diffusion, ComfyUI, n8n i vLLM također su integrirane radi proširenja funkcionalnosti. To korisnicima omogućuje brzu izgradnju lokalnih AI platformi i automatizaciju radnih tokova u sigurnom, skalabilnom i potpuno kontroliranom okruženju.

„QAI-h1290FX ispunjava rastuću potražnju za lokalnom AI infrastrukturom“, rekao je Oliver Lam, voditelj proizvoda u tvrtki QNAP. „Željeli smo ukloniti prepreke pri izradi GPU radne stanice, instaliranju alata i konfiguriranju složenih okruženja. S QAI-h1290FX korisnici mogu implementirati i pokrenuti svoje AI modele odmah nakon vađenja iz kutije, uz potpunu kontrolu nad vlastitim podacima i bez oslanjanja na oblak.“

Postoji nekoliko ključnih značajki po kojima se QAI-h1290FX ističe. Prije svega, oslanja se isključivo na SSD-ove i posjeduje dvanaest U.2 NVMe/SATA SSD utora, što omogućuje ultra-brzi I/O za učinkovito izvršavanje AI zadataka i streaming podataka. Izniman 16-jezgreni AMD EPYC 7302P serverski procesor ima 32 dretve, što ga čini idealnim za AI, virtualizaciju i zahtjevne paralelne procese. Osim toga, QAI-h1290FX podržava opcijski NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation GPU, koji ima do 96 GB memorije i podršku za CUDA, TensorRT i Transformer Engine akceleraciju. To značajno povećava performanse za lokalnu LLM primjenu, generiranje sadržaja i procese dubokog učenja.

Omogućuje jednostavno i intuitivno upravljanje GPU resursima, s podrškom za Docker i LXD. Korisnici mogu brzo pokrenuti AI alate putem ugrađenog AI centra za aplikacije i dodijeliti GPU resurse bez konfiguracije putem naredbenog retka. Implementacija je potpuno lokalna, bez ovisnosti o uslugama u oblaku. Chat-asistenti, pretraživači dokumenata ili baze znanja – sve je dostupno na lokaciji korisnika, pri čemu se osjetljivi podaci zadržavaju unutar tvrtke.

QNAP QAI-h1290FX odlikuje se velikom brzinom mreže i skalabilnom arhitekturom. Dolazi s dva 25 GbE i dva 2,5 GbE porta. PCIe utori podržavaju opcijsku nadogradnju na 100 GbE. Kompatibilan je s QNAP JBOD kućištima za proširenje, radi pohrane velikih količina AI podataka.

Koji su najčešći načini korištenja?

Ovaj uređaj može se koristiti u brojne svrhe, a ovom ćemo prigodom izdvojiti nekoliko najčešćih. Moguće je implementirati interne AI asistente putem lokalnog chat kanala. AI sučelje za pretragu baza znanja, osposobljavanje zaposlenika i odgovore na pitanja o internim pravilima – sve je potpuno pod vašom kontrolom. RAG pretraga također je zanimljiva mogućnost. Iskoristite privatne RAG sustave za brzu, kontekstualnu pretragu ugovora, izvješća i internih dokumenata. Naravno, tu je i neizbježno generiranje slika. Pokrenite Stable Diffusion ili ComfyUI za generiranje vizualnog sadržaja s pomoću umjetne inteligencije. Možete koristiti n8n za automatizaciju zadataka zaključivanja i predviđanja, generiranja sadržaja ili obavijesti, neprimjetno integrirajući AI u poslovne procese.

S modelom QAI-h1290FX, QNAP nudi jednostavnu i učinkovitu implementaciju generativne umjetne inteligencije unutar granica poduzeća. Bez obzira na to koristi li se u pravnim poslovima, ljudskim resursima, kreativnim operacijama ili IT-u, pomaže timovima da rade brže, ostanu usklađeni s propisima i zadrže potpunu kontrolu nad svojom AI strategijom.

(sponzorirani sadržaj)