走近 MiniMax M2：为什么选用全注意力方案？

随着人工智能加速演进，MiniMax M2 这款全新的预训练模型备受瞩目。它选择了全注意力（Full Attention）路线，引来不少讨论与提问：“为什么不继续用线性或稀疏注意力？” 为回应这些关切，MiniMax M2 的预训练负责人将详细解释这项选择的原因。

第一，团队认为在现有的工业应用里，线性和稀疏注意力虽然有节省算力的优势，但要完全替代全注意力还需要时间。大型语言模型（LLM）落地要面对复杂多样的场景，如代码理解、数学推理和多模态数据处理，模型好不好不仅看理论，更要经得起真实使用的检验。

第二，尽管研究一直在寻找更高效的注意力机制，但在产品化过程中，优秀表现离不开扎实的工程优化。MiniMax M2 团队很清楚，用户最在意的是效果、速度（TPS）和成本。要把这些指标提升上去，就必须跨过评测体系不完善、观察和迭代成本高等难题。

第三，基础设施也是现实挑战。相比全注意力，线性与稀疏注意力的生态与工具链还不够成熟，想要拿到明显的性能提升需要投入更多工程努力。随着算力受限与数据规模不断扩大，这两类注意力的优势可能会逐步显现，因此团队也在提前布局，为可能的转向做好准备。

接下来，MiniMax M2 团队将继续探索更高效的模型架构，并优化现有基础设施，以满足未来的计算需求。在稳步前进的道路上，团队保持对技术的热情与好奇，期待不久后推出更具竞争力的产品。