腾讯微信 AI 团队发布 WeDLM：新型扩散语言模型，推理更快更高效

腾讯微信 AI 团队正式推出一套全新的扩散语言模型框架——WeDLM（WeChat Diffusion Language Model）。这套模型旨在突破传统大语言模型（如 GPT 系列）在并行推理上的效率瓶颈，让文本生成更快、更顺畅。

WeDLM 通过创新的拓扑重排方案，把扩散模型与标准因果注意力机制结合起来。这样的融合使模型可以兼容 KV 缓存技术，有效解决扩散模型因双向注意力带来的推理速度限制。在提升速度的同时，模型的生成质量也得到保障，尤其在复杂推理任务中表现更为亮眼。

在实际测试中，WeDLM 展现出明显的速度优势。以数学推理任务 GSM8K 为例，WeDLM-8B 的推理速度相比经过优化的自回归模型（如 Qwen3-8B）快约 3 倍；在低熵计数这类场景中，速度提升甚至能达到 10 倍以上。同时，在 ARC、MMLU、Hellaswag 等多项基准测试中，WeDLM 的生成表现与传统自回归基线相当或更优，既提高了效率，也保持了较高的准确度。

凭借高效的推理能力，WeDLM 适用于智能客服、代码辅助生成、实时问答等多种应用场景。随着实际落地推进，WeDLM 有望降低计算成本，提升用户体验，推动 AI 技术更广泛地应用。

github:https://github.com/tencent/WeDLM

划重点:

– 🚀 通过拓扑重排技术提升推理速度，破解传统模型的效率瓶颈。

– 📊 在 GSM8K 等任务中，WeDLM-8B 的速度比优化自回归模型快约 3 倍。

– 💡 适用于智能客服和实时问答等多场景，降低计算成本并提升用户体验。