京东开源 JoyAI-LLM-Flash 大模型，加速 AI 技术升级

2 月 14 日，京东在 Hugging Face 平台上正式开源了自家全新的大模型 —— JoyAI-LLM-Flash。该模型总参数规模为 48 亿，其中激活参数为 3 亿，完成了 20 万亿文本 Token 的预训练，在前沿知识理解、逻辑推理和代码编写等方面都有非常突出的表现。

JoyAI-LLM-Flash 基于全新的 FiberPO 优化框架，将纤维丛理论与强化学习相结合，并配合 Muon 优化器和稠密多 Token 预测技术，有效解决了传统模型在扩大规模时容易出现的不稳定难题。和非 MTP 版本相比，该模型的吞吐量提升约 1.3 倍至 1.7 倍，大幅提高了训练效率和实际应用空间。

这款模型采用混合专家模型（MoE）架构，共有 40 层网络结构，支持 128K 的上下文长度和 129K 的词表大小，体现了京东在人工智能领域迈出的关键一步。