AMD įgalina vietinius AI modelius su 128B parametrais „Strix Halo“ procesoriuose

AMD ką tik išleido didelį savo „Ryzen AI Max+“ platformos atnaujinimą, išplečiantį didelių LLM (Large Language Model – Dideli Kalbų Modeliai) palaikymą „Windows“ sistemoje. Tai remiasi tuo, ką jie parodė CES 2025 parodoje, kur „Ryzen AI“ procesoriai tapo pirmieji, kurie vietoje paleido „Llama 70B“ naudodami „llama.cpp“ ir „LM Studio“. Su būsimu „Adrenalin Edition 25.8.1 WHQL“ tvarkyklės atnaujinimu, tokios sistemos kaip „Ryzen AI Max+ 395“ su 128 GB RAM dabar galės tvarkyti modelius su iki 128 milijardų parametrų „Vulkan llama.cpp“. Tai įmanoma dėl AMD „Variable Graphics Memory“, kuri leidžia skirti iki 96 GB AI darbo krūviams.

Šis atnaujinimas taip pat daro „Ryzen AI Max+ 395“ pirmąjį „Windows“ AI procesorių, kuris vietoje paleidžia „Meta Llama 4 Scout 109B“ (su 17B aktyviais), su vizijos ir MCP palaikymu. Kadangi „Llama Scout“ naudoja ekspertų mišinio konfigūraciją, vienu metu aktyvi yra tik dalis modelio, o tai išlaiko našumą, iki 15 žetonų per sekundę bandymuose. Platforma palaiko platų modelių dydžių ir kvantizacijos formatų spektrą, įskaitant GGUF, todėl ji yra labai lanksti įvairiems naudojimo atvejams.

Vienas iš svarbiausių patobulinimų yra didelių konteksto dydžių palaikymas. Dauguma konfigūracijų riboja iki maždaug 4096 žetonų, bet su šia platforma galite pasiekti iki 256 000 žetonų, jei įjungtas „Flash Attention“ ir „Q8 KV Cache“. Toks konteksto langas leidžia atlikti sudėtingesnes užduotis, pvz., visų dokumentų analizę ir apibendrinimą.

Paprastiems naudotojams turėtų pakakti 32 000 konteksto ilgio nustatymo su mažesniu modeliu pagrindiniam įrankio naudojimui. Tačiau sudėtingesniems uždaviniams, pvz., darbo eigai, apimančiai kelis įrankius ar didelės apimties žetonų srautus, reikės rimtos aparatinės įrangos. Būtent čia praverčia toks įrenginys kaip „Ryzen AI Max+ 395“ su 128 GB atminties. Deja, tokia konfigūracija yra gana brangi ir kainuoja mažiausiai 2000 JAV dolerių. Dauguma, jei ne visi, paskelbti ir prieinami „Ryzen AI MAX“ sistemos neleidžia atnaujinti atminties, nes jos naudoja LPDDR5X technologiją, bet galbūt kokia nors įmonė galėtų pasiūlyti alternatyvą.