Nvidia je izdala LLM otvorenog koda

Nvidia, koja izrađuje neke od najtraženijih GPU-ova u AI industriji, najavila je da je izdala open-source veliki jezični model (LLM) koji navodno radi na razini vodećih vlasničkih modela od OpenAI-a, Anthropic-a, Meta-e i Google-a. Tvrtka je predstavila svoju novu NVLM 1.0 obitelj u nedavno objavljenom radu, a predvodi ju model NVLM-D-72B sa 72 milijarde parametara.

“Predstavljamo NVLM 1.0, obitelj multimodalnih LLM-a vrhunske klase koji postižu najnovije rezultate u zadacima povezanim s vizijom i jezikom, rivalizirajući vodećim vlasničkim modelima (npr. GPT-4o) i modelima otvorenog pristupa,” napisali su istraživači. Nova obitelj modela već je sposobna za “produkcijsku multimodalnost”, s izvanrednim performansama u raznim zadacima koji uključuju viziju i jezik, uz poboljšane tekstualne odgovore u usporedbi s osnovnim LLM-om na kojem je obitelj NVLM bazirana. “Kako bismo to postigli, izradili smo i integrirali visokokvalitetni tekstualni skup podataka u multimodalni trening, uz značajnu količinu podataka iz matematike i logičkog zaključivanja, što je dovelo do poboljšanih sposobnosti u matematici i kodiranju preko modaliteta,” objasnili su istraživači. Rezultat je LLM koji jednako lako može objasniti zašto je neki meme smiješan kao što može riješiti složene matematičke jednadžbe, korak po korak”.

Nvidia je također uspjela povećati točnost modela samo za tekst za 4,3 bodova u prosjeku na uobičajenim industrijskim mjerilima, zahvaljujući svom multimodalnom stilu treninga. Nvidia ozbiljno pristupa osiguravanju da ovaj model zadovoljava najnoviju definiciju “otvorenog koda” od strane Inicijative za otvoreni kod, ne samo tako što je učinila svoje težine treniranja dostupnima za javni pregled, već je i obećala da će uskoro objaviti izvorni kod modela. Ovo predstavlja jasan odmak od postupaka rivala poput OpenAI-a i Google-a, koji čuvaju detalje o težinama treniranja i izvorni kod svojih LLM-ova. Na taj način, Nvidia je pozicionirala obitelj NVLM-a da ne konkurira izravno ChatGPT-4o i Gemini 1.5 Pro, već da služi kao temelj za razvojne programere trećih strana koji žele izgraditi vlastite chatbotove i AI aplikacije.

Prema gotovo svim izvješćima, Intel se sprema objaviti svoju 15. generaciju Core procesoa kodnog imena Arrow Lake za nekoliko tjedana. Nova generacija, koja će se natjecati za mjesto među najboljim procesorima, koristit će novi LGA 1851 socket, a redizajnirani paket mogao bi predstavljati problem kada je u pitanju hlađenje CPU-a. Prema poznatom overclocking stručnjaku i YouTuberu der8aueru, najtoplija točka na Arrow Lake CPU-ovima je “prilično više prema sjeveru”, što znači da je najtopliji dio CPU-a smješten na vrhu paketa.

Različite lokacije toplih točaka nisu ništa novo, ali to je nešto na što će tvrtke za hlađenje morati obratiti pozornost kako bi postigli najbolje performanse. LGA 1851 socket je navodno iste veličine kao LGA 1700 socket, što znači da bi većina postojećih hladnjaka za CPU trebala raditi s novim socketom, osim novog mehanizma za montažu. Prethodni Intelovi CPU-ovi koriste monolitni dizajn, što znači da je topla točka smještena u blizini središta čipa. Arrow Lake spaja različite čipove zajedno, slično kao i AMD-ovi noviji Ryzen procesori. To je premjestilo tzv. “compute tile”, najtopliji dio čipa, prema vrhu paketa. Nadajmo se da taj pomak neće značajno utjecati na performanse hlađenja postojećih hladnjaka.

Integrirani toplinski razvodnik (IHS), montažni blok za CPU i termalna pasta zajednički rade kako bi stvorili čvrstu vezu između CPU-a i hladnjaka i što više raspodijelili toplinu. Ipak, der8auer kaže da je “za idealno hlađenje potrebna promjena centra hlađenja kako bi se suprotstavilo toploj točki. Također, rotacija bloka za 180 stupnjeva pogoršala bi performanse.” Za korisnike koji žele maksimalno iskoristiti svoj hardver putem overclockanja, pomicanje tople točke čini veliku razliku. Der8auer kaže da bi prilagođeni vodeni blok s ulaznim priključkom na sjeveru čipa i izlaznim priključkom na jugu bio idealan.

Za redovne korisnike, možda neće biti velike razlike u performansama. To će zapravo ovisiti o tome koliko topline CPU generira. Kao što smo vidjeli kod Core i9-14900K i Core i9-13900K, najnoviji Intelovi glavni modeli zahtijevaju mnogo snage za hlađenje. Čak i uz snažan all-in-one (AIO) tekući hladnjak, Intelove najnoviji modeli mogu dosegnuti 90 stupnjeva Celzija (ili više) pod punim opterećenjem. Ako Arrow Lake čipovi budu imali slične zahtjeve za snagom, orijentacija CPU hladnjaka mogla bi utjecati na performanse.

NVIDIA je već 20 godina neosporni lider na tržištu diskretnih GPU-ova (dGPU), ostavljajući malo prostora konkurenciji poput AMD-a i Intela. Prema najnovijim podacima prikupljenim od 3DCenter-a, NVIDIA-ina strategija i inovacije omogućili su joj dugogodišnju dominaciju na tržištu potrošačkih i profesionalnih grafičkih procesora.

Iako se NVIDIA danas često doživljava kao tvrtka usmjerena na umjetnu inteligenciju, njezini korijeni čvrsto su utemeljeni na tržištima potrošačkih i profesionalnih GPU-ova. Počevši s GeForce FX serijom, NVIDIA je počela graditi svoju dominaciju, koja je do danas ostala nepoljuljana.

AMD je u početku smanjio tržišni jaz s lansiranjem serije Radeon X100, no to je bila samo kratkotrajna prijetnja. NVIDIA je znatno povećala svoj tržišni udio tijekom procvata rudarenja kriptovaluta, posebno zbog velike potražnje za grafičkim procesorima serije GeForce RTX 30, čime je dodatno učvrstila svoje vodstvo.

NVIDIA GeForce RTX 5090 grafička kartica zahtijevati znatno više energije od prethodnih generacija

NVIDIA CUDA besprijekorno radi na AMD grafičkim procesorima pomoću alata SCALE

Nvidia kombinira svoje najbolje funkcije za gaming u jednu sveobuhvatnu aplikaciju

Iako NVIDIA dGPU-e smatra sekundarnim prioritetom, njezina dominacija na potrošačkom tržištu i dalje je vrlo izražena. AMD se trudi revitalizirati svoju Radeon liniju za igranje, a Intel planira ući na mainstream tržište, no izgleda da NVIDIA neće imati ozbiljnu konkurenciju u narednim godinama.

NVIDIA posluje u raznim industrijama, od umjetne inteligencije i robotike do potrošačkih grafičkih procesora, a njezin utjecaj je ključan za razvoj tih tržišta. Strategija osnivača tvrtke, Jensena Huanga, često se naziva “Jensenov trik”. S nadolazećim lansiranjem nove generacije rješenja za gaming entuzijaste, NVIDIA-ina dominacija na tržištu vjerojatno će se nastaviti.

Microsoft ulaže 4,3 milijarde eura u Italiju kako bi poboljšao svoju AI infrastrukturu i izgradio više podatkovnih centara. Tvrtka planira uspostaviti cloud regiju ItalyNorth, koja bi trebala postati jedan od najvećih Microsoftovih podatkovnih centara u Europi.

Ovaj podatkovni centar neće služiti samo Italiji i Europi, već će biti ključan i za regije Mediterana i Sjeverne Afrike. Ova investicija dio je šire Microsoftove strategije za jačanje globalne infrastrukture u oblaku, jer potražnja za AI i cloud uslugama i dalje raste u različitim industrijama.

Potpredsjednik Microsofta i predsjednik tvrtke, Brad Smith, sastao s talijanskom premijerkom Giorgiom Meloni u Rimu kako bi razgovarali o ovom ulaganju. Smithov posjet poklopio se s Meloninim sastankom s Larryjem Finkom, izvršnim direktorom BlackRock Inc., ranije tog tjedna. BlackRock i Microsoft također imaju zajednički fond od 30 milijardi dolara namijenjen ulaganju u podatkovne centre i lance opskrbe usmjerene na umjetnu inteligenciju, s time da će fond prvo ciljati američko tržište prije nego što se proširi na partnerske zemlje poput Italije.

AI aplikacije često zahtijevaju velike računalne resurse za obradu velikih skupova podataka i izvođenje složenih izračuna. Za to su potrebni namjenski podatkovni centri s odgovarajućim hardverom, a Microsoft, uz širenje u Italiji, također gradi nove centre u američkim državama Iowa, Virginia i Washington. Ostale velike tehnološke tvrtke poput Googlea i AWS-a također šire svoju globalnu infrastrukturu podatkovnih centara kako bi odgovorile na rastuće potrebe.

Microsoftovo širenje dolazi s predanošću korištenju 100% energije bez ugljika do 2025. godine. Nedavno je kompanija privukla pažnju kupnjom nuklearnog postrojenja Three Mile Island u Pennsylvaniji, u partnerstvu s Constellationom, kako bi osigurala energetsku neovisnost za svoje podatkovne centre u SAD-u. Ovaj dogovor omogućit će Microsoftu da do 35% energije dobiva iz nuklearnih izvora.

Nvidia također pokazuje interes za nuklearnu energiju kako bi zadovoljila svoje energetske potrebe. Izvršni direktor Jensen Huang izjavio je da je nuklearna energija odlična opcija za napajanje njihovih podatkovnih centara, uz druge izvore energije.

Kako cijene čipseta rastu, kompanije traže jeftinije alternative. Galaxy S24 FE predstavlja zanimljiv primjer. Samsung je odabrao domaći čipset, ali ne isti kao onaj u modelima Galaxy S24 i S24+ na nekim tržištima. Umjesto toga, koristili su Exynos 2400e.

Performanse bliske Exynosu 2400e Samsung čuva većinu detalja u tajnosti, no potvrđeno je da je glavna Cortex-X4 jezgra overklokirana na maksimalnih 3,1 GHz, dok standardni Exynos 2400 radi na 3,2 GHz. Ostale CPU jezgre ostaju iste: 2x Cortex-A720 na 2,90 GHz, 3x A720 na 2,59 GHz i 4x A520 na 1,96 GHz. Maksimalna brzina takta ključna je za brza opterećenja poput pokretanja aplikacija, dok je za dugotrajnija opterećenja poput igranja manja važnost. Nema dostupnih informacija o radnom taktu Xclipse 940 GPU-a.

Prvi rezultati benchmarka Exynos 2400e je 10-jezgreni CPU s kombinacijom 1x Cortex-X4, 5x A720 i 4x A520 jezgri. U testovima višejezgrenih performansi pokazao se kao jak konkurent. Razlika u performansama između S24 FE i S24+, koji koristi puni Exynos 2400, je mala. Xiaomi 14T Pro s Dimensity 9300+ čipsetom, koji ima četiri Cortex-X4 jezgre, pokazuje neznatno bolje rezultate.

U testovima jednojezgrenih performansi, razlika od 0,1 GHz između Exynosa 2400 i 2400e jedva je primjetna. Xiaomi 14T Pro s glavnom Cortex-X4 jezgrom na 3,4 GHz postiže samo 4% bolje rezultate. S druge strane, Pixel 9 Pro XL s Tensor G4 čipom zaostaje u oba testa.

GPU performanse Xclipse 940 GPU temelji se na AMD-ovoj RDNA 3 arhitekturi i pokazao se prilično moćnim. Iako nije snažan kao Adreno 750 u Galaxy S24 Ultra, i dalje je impresivan i nadmašuje stariji S23 FE.

Zanimljiva je usporedba s iPhoneom 16 Plus, koji košta 900 dolara, dok Galaxy S24 FE košta samo 650 dolara. U testu Wild Life Extreme, iPhone 16 ima prednost od 4%, ali gubi 23% u testu Solar Bay, koji testira praćenje zraka. AMD-ov GPU ima hardversko ubrzanje za praćenje zraka, što Appleov A18 čip ne može pratiti (A18 Pro je brži, ali još uvijek slabiji od Exynosa 2400e).

Exynos 2400e donosi visoke performanse

Exynos 2400e pokazuje se kao zanimljiv čipset koji nudi 90%-95% performansi Exynosa 2400 po nižoj cijeni. Galaxy S24 FE s 8/128 GB košta 650 USD, dok Galaxy S24 s istom memorijskom konfiguracijom košta 800 USD, a S24+ s 12/256 GB košta 1000 USD.

Smanjena brzina takta može smanjiti potrošnju energije. S24 FE ima nešto manju bateriju (4700 mAh) u usporedbi s 4900 mAh na S24+. Samsung tvrdi da su poboljšali hlađenje u odnosu na S23 FE (10% veća parna komora). Više informacija o ovome bit će dostupno nakon dodatnih testova performansi i pregleda.

Samsung se suočava s krizom ljudskih resursa dok tvrtka prolazi kroz izazove bez presedana.

Prema izvješću Bloomberga, Samsung planira značajno smanjenje broja zaposlenika na globalnoj razini, počevši od jugoistočne Azije, Australije i Novog Zelanda. Izvori navode da će Samsung otpustiti oko 10% radne snage na tim tržištima, dok bi druge podružnice mogle pratiti sličan trend.

Globalni rezovi osoblja

Prema najnovijem izvješću o održivosti, Samsung je krajem 2023. godine imao 267.800 zaposlenika, od kojih više od polovice, njih 147.000, radi u inozemstvu. Većina tih radnika je uključena u proizvodnju i razvoj, dok prodajno i marketinško osoblje čini oko 25.100 zaposlenika.

Reuters je još u rujnu izvijestio o mogućnosti da će Samsung otpustiti do 30% zaposlenika u nekim odjelima na globalnoj razini. Tvrtka je navodno dala upute da se do kraja 2024. smanji 15% prodajno-marketinškog i 30% administrativnog osoblja.

Teško razdoblje za Samsung

Dionice Samsunga ove su godine pale za više od 20%, a tvrtka se suočava s problemima na ključnim tržištima. Unatoč tome što je Samsung najvrjednija dionica na korejskom tržištu, od rujna 2023. njegova je vrijednost pala na najnižu razinu u posljednjih 16 mjeseci.

Analitičari su snizili procjene dobiti Samsunga, predviđajući slab rast potražnje za pametnim telefonima i osobnim računalima. U sektoru čipova, Samsung je zaostao za konkurentima poput SK Hynixa i TSMC-a u pružanju tehnologija povezanih s umjetnom inteligencijom (AI) i proizvodnji prilagođenih čipova.Kako bi prevladao krizu u segmentu poluvodiča, Samsung je u svibnju 2023. zamijenio šefa tog odjela, imenovavši na tu poziciju Juna Young-hyuna.

Poteškoće na tržištu pametnih telefona

U segmentu pametnih telefona, Samsung se suočava s konkurencijom Applea, Huaweija i drugih. Na indijskom tržištu, koje je donedavno donosilo tvrtki prihod od 12 milijardi dolara godišnje, Samsung se suočava s problemima zbog štrajkova i prekida proizvodnje.

U prošlosti je tvrtka smanjivala broj zaposlenika kako bi se prilagodila stanju na tržištu memorijskih čipova. Nedavno je ukinuto oko 10% radnih mjesta u Indiji i Latinskoj Americi. Još uvijek nije jasno hoće li se otpuštanja proširiti i na sjedište u Koreji.

Prema Reutersu, odluka o smanjenju radne snage u Koreji mogla bi izazvati nemire, osobito jer su sindikati Samsunga nedavno prosvjedovali zbog zahtjeva za povećanje plaća.

Ove godine, kada je Apple najavio iOS 18, najnoviju verziju svog mobilnog operativnog sustava, velik dio pozornosti bio je usmjeren na njegov popis novih značajki umjetne inteligencije. Međutim, malo primjećena promjena u iOS-u 18 — prilagodba značajke koja korisnicima omogućuje dijeljenje popisa kontakata s različitim aplikacijama — mogla bi igrati važniju ulogu.

Sinkronizacija kontakata ključna je u razvoju mnogih društvenih aplikacija i aplikacija za razmjenu poruka već dva desetljeća. Aplikacije poput Instagrama, WhatsAppa i Snapchata uspjele su se uspostaviti brzo povezujući milijune korisnika iPhonea s ljudima koje su već poznavali, a zatim predlažući druge korisnike koje mogu pratiti. Početni zamah pomogao je ovim aplikacijama da se popnu na vrh ljestvice App Storea. Sada su neki programeri zabrinuti da bi mogli imati poteškoća s pokretanjem novih aplikacija. Nikita Bier, osnivač i savjetnik startupa, promjene u iOS-u 18 naziva „apokaliptičnim”. Izjavio je da bi nove društvene aplikacije temeljene na prijateljstvu mogle propasti. Novinar The New York Timesa proveo je vrijeme razgovarajući s gospodinom Bierom i drugim programerima aplikacija kako bi saznao više o ovoj promjeni. Također je slušao objašnjenja iz Applea o tome zašto vjeruju da su ove promjene dobre za privatnost korisnika.

„S jedne strane, suosjećam s teškom borbom s kojom se suočava svaki programer koji pokušava izgraditi novu društvenu aplikaciju. Promjene u dijeljenju kontakata u iOS-u 18 sigurno će otežati proboj nekim novim aplikacijama. U svijetu gdje je manjim aplikacijama teže uspjeti, postojeće tvrtke poput Facebooka i Instagrama — koje već imaju mrežne učinke i ne moraju tražiti dopuštenje korisnika za prikupljanje kontakata — očito će imati koristi”, rekao je, dodajući da se novinar The New York Timesa složio s Appleovim mišljenjem da je davanje korisnicima više kontrole nad kontaktima koje dijele dobro za privatnost. Aplikacije koje od korisnika traže cijeli popis kontakata mogu biti zastrašujuće.

Godinama, uz pristanak korisnika, programeri aplikacija imali su pristup popisu svih kontakata i informacijama pohranjenim u imeniku, poput telefonskih brojeva i adresa e-pošte. Te se informacije mogu koristiti za izradu društvenog grafikona korisnika ili za predlaganje računa koje treba pratiti. Međutim, u iOS-u 18 korisnici koji pristanu odobriti pristup kontaktima aplikacije primit će dodatnu obavijest za odabir kontakata koje žele dijeliti. Umjesto dijeljenja svih kontakata kao prije, korisnici će moći podijeliti samo određene podatke o kontaktima. Razlog koji je naveo Apple za ove promjene je jednostavan: korisnici ne bi trebali biti prisiljeni donositi odluke „sve ili ništa”. Na svojim iPhoneima imaju stotine ili tisuće telefonskih brojeva, a neke od njih ne žele dijeliti. Apple tvrdi da promjene u iOS-u 18 neće naštetiti programerima aplikacija, ali prema Bieru, podaci iz startupa pokazuju da je dijeljenje kontakata značajno opalo nakon ovih promjena.

Smanjenje dijeljenja kontakata od 25% možda se ne čini kao velika promjena, ali za društvene aplikacije mogućnost brzog povezivanja novih korisnika s njihovim prijateljima može biti presudna. Na primjer, Facebook je otkrio da ako su korisnici dodali 7 prijatelja unutar 10 dana od registracije, veća je vjerojatnost da će ostati na društvenoj mreži dulje od drugih.Naravno, korisnici iPhonea i dalje mogu dijeliti cijeli adresar ako to žele, ali Appleovo podešavanje smanjuje broj zajedničkih kontakata. Rezultat bi mogao biti da društvene aplikacije temeljene na prijateljstvu budu zamijenjene aplikacijama poput TikToka, koje prikazuju sadržaj temeljen na interesima umjesto na vezama s drugim korisnicima, rekao je g. Bier.

Poznato je da je Apple 17. rujna ujutro objavio prvu službenu verziju operativnog sustava iOS 18. Jedna od najočekivanijih točaka su značajke umjetne inteligencije (AI) u okviru Apple Intelligence. Apple je izjavio da će, na temelju osobnog konteksta korisnika, Apple Intelligence pružiti najprikladnija iskustva.

Uz značajke umjetne inteligencije i promjene u načinu dijeljenja kontakata, Apple također omogućuje korisnicima da personaliziraju izgled početnog zaslona na telefonu, automatski rasporede biblioteke fotografija po temi i dožive slanje poruka na iPhoneu bez dosade, uz obradu podataka odmah nakon unosa bilješki. Apple je također izdao ažuriranje za iOS 17.7 za korisnike koji ne žele nadograditi na iOS 18, a koje je izdano uglavnom radi ispravljanja sigurnosnih grešaka. Prethodne verzije i dalje su dostupne.

Procesori serije AMD EPYC Embedded 8004 dizajnirani su za računalno intenzivne ugrađene sustave, pružajući visoke performanse za zahtjevna radna opterećenja uz maksimalnu energetsku učinkovitost u kompaktnom obliku za aplikacije s ograničenim prostorom i energijom. Također integrira opsežan paket ugrađenih značajki za daljnje poboljšanje performansi i pouzdanosti sustava. Serija AMD EPYC Embedded 8004 je prilagođena mrežnim sustavima, usmjerivačima, sigurnosnim uređajima, poduzećima i toplim/hladnim skladištima u oblaku te industrijskim rubnim aplikacijama, osiguravajući kvalitetno rukovanje dinamičkim radnim opterećenjima.

AMD EPYC Embedded 8004 Series procesori ističu se u mogućnostima prijenosa podataka, pouzdanosti sustava i zadržavanju podataka. Ključne integrirane značajke uključuju:

• Izravni pristup memoriji (AMD EPYC 4. generacije DMA): Dizajniran za poboljšanje učinkovitosti i performansi sustava rasterećenjem prijenosa podataka s CPU-a, dopuštajući jezgrama da se usredotoče na kritične zadatke aplikacije.
• Netransparentno premošćivanje (NTB): Povećava pouzdanost sustava omogućavanjem razmjene podataka između dva CPU-a u aktivno-aktivnim konfiguracijama putem PCI Express-a (PCIe), omogućujući nastavak rada u slučaju kvara.
• DRAM ispiranje u NVMe: Pomaže osigurati očuvanje kritičnih podataka njihovim ispiranjem iz DRAM-a u trajnu memoriju u slučaju nestanka struje.
• Podrška za dvostruki SPI: Omogućuje korištenje dva SPI ROM-a, jedan za BIOS sliku i drugi za sigurni bootloader, pružajući dodatni sloj sigurnosti.
• Potvrda identiteta uređaja: Pomaže u zaštiti od neovlaštenih nadogradnji CPU-a dopuštajući kriptografsku provjeru autentičnosti procesora.
• Podrška za Yocto Framework: Omogućuje korisnicima stvaranje laganog, optimiziranog Linux OS-a za ugrađene sustave.

Model 990 EVO Plus temelji se na desetljećima Samsungove tehnologije poluvodiča s dokazanom pouzdanošću. Brzine sekvencijalnog čitanja dosežu 7.250 megabajta u sekundi (MB/s), a brzine pisanja do 6.300 MB/s, što je do 50 % bolje nego kod prethodnog modela 990 EVO. Poboljšali su performanse zahvaljujući najnovijoj 8. generaciji tehnologije V-NAND i kontrolera od 5 nanometara (nm), dok inovativni štitnik topline s premazom od nikla smanjuje pregrijavanje i omogućava 73 % veću energetsku učinkovitost od svog prethodnika.

Model od 4 TB ima najbolju brzinu nasumičnog čitanja u industriji od 1050 K IOPS, a brzina nasumičnog pisanja iznosi 1400 K ulazno-izlaznih operacija u sekundi (IOPS). Te izvanredne performanse gotovo su konkurentne proizvodima s SSD pogonom s DRAM-om. Iako ne upotrebljava DRAM predmemoriju, novi model optimalno je rješenje za igranje i zadatke umjetne inteligencije koji zahtijevaju visoke performanse.