“AMD AI系统能效突破,2020年产品仅其1/28.3”
据IT之家报道,AMD公司自2021年起便确立了一项雄心勃勃的目标:即在2025年将EPYC处理器与Instinct加速器的能效提升30倍。如今,尽管距离目标年份尚有时日,AMD已经取得显著进展,仅以最新推出的EPYC 9575F处理器与Instinct MI300X加速器为例,其能效已比2020年未公开的机型提升了高达28.3倍。
在最近的一次测试中,AMD采用了Llama3.1-70B(vLLM 0.6.1.post2、TP8 Parallel、FP8、连续批处理)模型,对比了不同硬件配置下的推理性能差异。尽管AMD未详细透露2020年所使用的硬件规格,但可以推测该设备基于Zen 2架构的EPYC 7002处理器(最多64核)以及初代CDNA架构的Instinct MI100加速器。
AMD强调,这一成果并非单纯硬件升级的结果,而是通过架构改进与软件优化的综合作用。近期,AMD发布了基于CDNA 3架构的Instinct MI325X加速器,该设备搭载了288GB HBM3E内存子系统。明年,AMD还将推出基于CDNA 4架构的Instinct MI355X,其性能(FP8和FP16)将比MI325X提升约80%。MI325X还将支持FP4和FP6格式,峰值性能可达到9.2 PetaFLOPS(FP4),这对于大语言模型的应用具有重要意义。
AMD高级副总裁、研究员及产品技术架构师Sam Naffziger表示:“通过对硬件与软件协同设计的深度思考,我们对实现能效提升30倍的目标充满信心。我们已经看到了未来几年内实现大幅能效提升的明确路径。”随着技术的不断进步,AMD正朝着其2025年的宏伟目标稳步迈进。
此外,AMD近期还发布了新款“Turin”系列EPYC 9005数据中心CPU,以及全新AI加速卡MI325X,进一步完善了其ROCm生态系统。这些举措将进一步巩固AMD在数据中心和AI计算领域的领先地位。