华为&中国移动联手推出超大规模AI存储解决方案;哈尔滨万卡实现150PB超大规模智算集群部署
华为近日宣布,中国移动首席专家张昊与华为数据存储产品线副总裁谢强强联合发布了智算中心超大规模集群 AI 存储解决方案。该方案针对大模型技术在大规模发展过程中面临的挑战,如非结构化数据的处理等,提出了一种有效解决方法。
随着大模型技术的快速发展,其参数规模已达到万亿级别,呈现出从单模态向多模态的发展趋势。同时,全球各大科技公司在积极投资建设万卡/超万卡集群智算中心,以应对海量非结构化数据的处理需求。然而,随着规模的扩大,传统存储系统在处理这些数据时遇到了诸多挑战。
为了解决这些问题,中国移动在哈尔滨的万卡超大规模智算集群首次尝试部署了基于华为OceanStor AI存储的多协议融合存储。这一解决方案凭借其高性能的融合存储系统,能够有效地应对大模型训练过程中的高吞吐量性能、多协议处理以及数据管理效率等问题。
据张昊介绍,这一解决方案将助力我国人工智能领域的发展,推动万卡、超万卡集群智算中心的建设成为新基建的重要组成部分。此外,中国移动智算中心(哈尔滨)作为我国最大的单集群智算中心,已于今年8月投入使用,并展现出强大的算力支持能力。
综上所述,华为与中国移动的合作研发出了一种针对大模型技术发展的新一代存储解决方案,有望在我国人工智能领域发挥重要作用。