Kako instalirati “AI zaštitnu ogradu” za agenta? Nvidia ima 3 nova mikroservisa
AI zaštitne ograde, koje uzimaju u obzir sigurnost, točnost i skalabilnost, mogu riješiti neizbježne izazove implementacije umjetne inteligencije. Istraživači sa Sveučilišta New York otkrili su da ako 0,001% podataka za obuku određenog jezičnog modela postane “otrovano” (tj. namjerno podsađeno dezinformacijama), cijeli skup podataka za obuku može proširiti te pogreške.
“Trovanje” podataka ima ozbiljan utjecaj na rezultate obuke, a sigurnost je ključna i za stvarnu implementaciju umjetne inteligencije. Gartner, konzultantska tvrtka, predviđa da će do 2028. AI agenti donositi najmanje 15% svakodnevnih poslovnih odluka i primijeniti se na 33% poslovnih procesa. Veliki broj zahtjeva za razvoj AI agenata čini nužnim za tvrtke da riješe izazove povjerenja, fizičke sigurnosti, mrežne sigurnosti i usklađenosti. Nedavno je Nvidia predstavila novu NIM mikrouslugu za zaštitu proxy AI aplikacija, koja će eliminirati sigurnosne prijetnje kad tvrtkr implementiraju generativnu umjetnu inteligenciju, osiguravajući tako širu primjenu generativne umjetne inteligencije.
Novi NIM mikroservisi za bolju sigurnost, točnost i skalabilnost
Novi NIM mikroservisi dio su NeMo Guardrails obitelji, skupa prijenosnih i optimiziranih mikroservisa za zaključivanje koji pomažu tvrtkama u poboljšanju sigurnosti, točnosti i skalabilnosti generativnih AI aplikacija. NeMo Guardrails je open-source alat koji omogućava programerima dodavanje programabilnih zaštitnih ograda AI sustavima temeljenim na LLM-u (Large Language Models), kako bi se osigurala sigurnost i usklađenost tih sustava.
Tri nova mikroservisa omogućuju AI agentima da održavaju kontrolirano ponašanje i u velikim razmjerima:
- Mikroservis Content Safety obučen je na Aegis Content Safety Datasetu – visokokvalitetnom skupu podataka s ljudskim bilješkama koji se koristi za sprječavanje generiranja pristranih ili štetnih rezultata, osiguravajući etičke odgovore
- Mikroservis za kontrolu tema fokusira razgovor na relevantne, moderirane teme i sprječava izlazak izvan tih okvira
- Mikroservis koji dodaje zaštitu od pokušaja zaobilaženja sigurnosnih mjera i sprječava neovlaštena ponašanja.
Kako instalirati “AI zaštitnu ogradu” za agenta?
Nvidia preporučuje višestruke specijalizirane mikroservise kao zaštitne ograde za složene proxy AI tijekove rada, čime se povećava sigurnost bez ugrožavanja performansi. Iako dodavanje više programabilnih zaštitnih ograda može povećati sigurnost, ono također može povećati latenciju. Međutim, NeMo Guardrails omogućuje povećanje zaštite uz minimalnu latenciju. Na primjer:
- Bez zaštitnih ograda (samo upit): kašnjenje oko 0,75 sekundi.
- S jednom zaštitnom ogradom: kašnjenje oko 1 sekundu, a usklađenost raste na 1,1X.
- S pet zaštitnih ograda: kašnjenje je oko 1,25 sekundi, a usklađenost doseže 1,5X.
Iako se latencija povećava samo minimalno, postignuta su značajna poboljšanja u sigurnosti i usklađenosti.
Industrije u kojima su NeMo Guardrails ključni
NeMo Guardrails su idealni za različite industrije poput automobilske, maloprodaje, telekomunikacija, zdravstva i mnogih drugih. Kroz smjernice specifične za kontekst, agenti mogu pružati sigurne, prikladne odgovore i biti zaštićeni od pokušaja bijega iz zatvora.
Primjeri implementacije:
- Amdocs koristi NeMo Guardrails kako bi svojim korisnicima omogućio sigurnu primjenu AI rješenja u telekomunikacijama.
- Cerence AI koristi NeMo Guardrails za sigurnu i kontekstualnu interakciju vozila s korisnicima.
- Lloyd’s Register koristi AI za poboljšanje stručnosti svojih zaposlenika, a NeMo Guardrails osigurava da odgovori budu relevantni i sigurni.
Integracija i proširivost NeMo Guardrails
NeMo Guardrails je otvoren i proširiv, što znači da se može integrirati s raznim ekosustavima AI sigurnosnih modela i usluga zaštite. Također podržava integraciju s alatima za nadzor kao što su ActiveFence, Fiddler, i Weights & Biases, čime se omogućuje poboljšanje nadzora i sigurnosti AI sustava. Nvidia također nudi Garak paket, alat za testiranje sigurnosti AI modela i skeniranje ranjivosti, koji programerima pomaže u prepoznavanju i rješavanju potencijalnih slabosti u AI modelima.
Zaključak
Nvidia NeMo Guardrails i prateći NIM mikroservisi predstavljaju ključnu infrastrukturu za sigurnu i skalabilnu primjenu AI agenta u različitim industrijama. Programeri sada mogu koristiti ove mikroservise za izradu pouzdanih i sigurnih AI aplikacija, a za detalje o instalaciji mogu posjetiti službenu web stranicu.
