小米推出新一代 MoE 大模型 MiMo-V2-Flash，推动 AGI 进展

在今天的2025小米人车家全生态合作伙伴大会上，小米新任 Xiaomi MiMO 大模型负责人罗福莉第一次亮相，正式发布了全新的 MoE（Mixture of Experts）大模型 ——MiMo-V2-Flash。这款新模型被视为小米迈向人工通用智能(AGI)的第二步。

罗福莉在社交媒体上详细介绍了 MiMo-V2-Flash 的技术架构。该模型采用 Hybrid SWA，架构简洁而优雅，在长上下文推理方面明显强于其他线性注意力方案。值得一提的是，窗口大小 128 被认为是最优选择，窗口过大反而会降低表现。同时，固定的 KV 缓存设计让其与现有基础设施更好兼容。

另外，她还提到了关键技术 —— 多标记预测（MTP）。使用 MTP 后，模型在高效的强化学习(RL)中取得了显著进步。哪怕不在首层，MTP 也只需少量微调，就能达到更高的接受长度。三层 MTP 在编程任务上的表现尤为出色，接受长度超过 3，速度提升约 2.5 倍，有效缓解小批量 On-Policy RL 的 GPU 空转问题。

在后训练阶段，小米采用 Thinking Machine 提出的 On-Policy Distillation，用于融合多个 RL 模型。通过该方法，在传统 SFT 与 RL 流程中，仅用约 1/50 的计算量就能接近教师模型的效果。整个过程展示了学生模型持续进化的潜力，并形成自我强化的闭环。

罗福莉表示，团队在短短几个月内把这些理念落地为可上线的生产系统，体现出极高的效率与创造力。

要点速览:

🌟 MiMo-V2-Flash 被视为小米迈向 AGI 的第二步，采用先进的 MoE 架构。  

⚡ 引入多标记预测显著提升模型性能与速度。  

💡 后训练阶段融合多个 RL 模型，展现出强劲的自我强化能力。