AMD 9 HX 375再赢一筹:LM Studio Token生成胜英特尔酷睿Ultra 7 258V
近日,AMD在其官方博客中分享了关于Ryzen AI 300系列移动处理器在本地大语言模型(LLM)性能上的新突破。根据官方提供的数据,搭载锐龙AI 9 HX 375处理器的设备在LM Studio(一款基于llama.cpp的桌面应用,支持通过AVX2指令实现CPU加速)的测试中表现出色,其性能显著优于英特尔酷睿Ultra 7 258V处理器。
在此次测试中,AMD使用了包括Meta Llama 3.2的1b和3b模型、微软Phi 3.1 4k Mini Instruct 3b模型、谷歌Gemma 2 9b以及Mistral的Nemo 2407 12b模型在内的多个大型语言模型。结果显示,锐龙AI 9 HX 375在这些模型的测试中都展现出了卓越的速度优势,与酷睿Ultra 7 258V相比,速度提升最为显著时领先幅度达到了27%。
值得注意的是,英特尔Ultra 7 258V处理器与锐龙AI 9 HX 375并非完全同等级别产品。258V属于中高端产品,而HX 375则是旗舰型号。尽管AMD的对比可能存在一定的不公平性,但这一测试仍然证明了其在本地大语言模型处理领域的强劲实力。
此外,LM Studio也支持GPU加速功能,并能通过Vulkan API进行GPU加速。在启用GPU加速后,锐龙AI 9 HX 375的性能相较于不使用GPU加速时提升了20%,进一步证明了该处理器在AI计算领域的强大潜力。