微软推出全新Φ系列AI模型：实现128K上下文窗口，首次融入混合专家模型

微软推出全新一代Φi-3.5 AI模型，其中包括首个混合专家模型Φi-3.5-MoE

近日，微软公司发布了一系列全新的Φi-3.5 AI模型，其中最为引人瞩目的当属Φi-3.5-MoE，这是Φi系列中的首个混合专家模型。Φi-3.5-MoE采用了先进的混合专家技术，将两个专家仅激活了66亿个参数的16×3.8B MoE模型与512个H100在4.9T标记上进行了训练。微软研究团队从头开始设计这一模型，旨在进一步提高其性能。在标准人工智能基准测试中，Φi-3.5-MoE的表现超过了Llama-3.1 8B、Gemma-2-9B和Gemini-1.5-Flash，并接近目前领先的GPT-4o-mini模型。

Φi-3.5-vision：增强型多帧图像理解

此外，Φi-3.5-vision模型共有42亿个参数，使用256个A100 GPU在500B标记上进行训练，现在支持多帧图像理解和推理。Φi-3.5-vision在MMMU、MMBench和文档理解基准TextVQA上的性能均有所提升。

Φi-3.5-mini：轻量级、强大功能

最后，Φi-3.5-mini模型是Φi系列中的一员，它有38亿个参数，超过了Llama3.1 8B和Mistral 7B，甚至在多语言任务中也表现出色。此外，Φi-3.5-mini还支持128K上下文窗口，而其主要竞争对手Gemma-2系列仅支持8K。

总之，微软推出的Φi-3.5 AI模型带来了显著的提升，无论是性能还是功能都得到了大幅度的加强，这无疑将为人工智能领域的发展带来新的突破。