30亿参数大模型的国产GPU实践：无问芯穹千卡集群

近日，我国本土的全功能GPU制造商摩尔线程（Moore Threads）与无问芯穹（UniQ Cloud）公司携手成功完成了基于国产全功能GPU千卡集群的3B规模大模型“MT-infini-3B”实训。该模型的训练基于摩尔线程的国产全功能GPU MTT S4000千卡集群，以及无问芯穹的AIStudio PaaS平台共同打造。此次训练历时13.2天，始终保持稳定运行，集群训练稳定性高达100%，表明了夸娥千卡智算集群在大模型训练场景下的可靠性。同时，“MT-infini-3B”模型在C-Eval、MMLU、CMMLU等三个测试集上表现出色，实现了性能领先，堪称业内首次在国产GPU芯片上进行的端到端大模型实训案例。

无问芯穹联合创始人兼CEO夏立雪表示，他们正在开发“M种模型”和“N种芯片”之间的“M x N”中间层产品，以实现多种大模型算法在多元化芯片上的高效、统一部署。无问芯穹已与摩尔线程建立深入合作关系，而“MT-infini-3B”这一训练成果标志着国产GPU芯片在大型模型训练领域取得了重要突破。