马斯克为Kimi“注意力残差”点赞，长文本大模型架构取得新进展

近日，人工智能大模型初创企业Kimi（月之暗面）公布了其最新技术论文《Attention Residuals: Rethinking depth-wise aggregation》，迅速在业内掀起热议。特斯拉CEO埃隆·马斯克（Elon Musk）在社交平台为该成果点赞，称这是“来自Kimi的出色工作（Impressive work）”。

对此，Kimi官方账号也互动回复，幽默夸赞马斯克“火箭造得也很棒”。这场跨界互动很快就成了全球AI技术圈的讨论热点。

Kimi此次提出了一种全新的“注意力残差”（Attention Residuals）思路，目标是改进大模型里沿用已久的固定式累积残差连接。它通过在深度维度采用更灵活的聚合方式，替代传统的层层递归结构。借此，模型在面对超长上下文时可以摆脱原有计算路径的束缚，在表达长序列信息的准确性与处理效率上都有明显提升。