腾讯混元发布首个产业级2Bit端侧模型：0.3B等效参数，端侧性能大幅跃升

端侧大模型“瘦身增效”迎来关键进展。腾讯混元今日面向消费级设备推出超小型模型 HY-1.8B-2Bit。借助业内首个产业级 2Bit 量化方案，将等效参数压缩至 0.3B，内存占用约 600MB，体积甚至比不少常用手机应用还小。

技术攻关：把2Bit量化从“不可能”变为可能

在实际部署中，量化位宽越低，精度通常下降越明显。为破解该难题，腾讯混元团队没有沿用传统 PTQ（后量化） 路线，而是采用 量化感知训练（QAT），并结合数据分布优化、弹性拉伸式量化与策略改良。

实验结果显示，HY-1.8B-2Bit 在数学、代码、科学等核心评测上，已能与 4Bit PTQ 版本相当。这意味着在大幅缩小体积的同时，模型依旧保持强劲的“全科”水平。

性能表现：生成更快，适配多端硬件

得益于极致压缩，新模型在真实端侧设备上的生成速度较全精度版本提升约 2—3倍。具体表现如下：

• MacBook M4： 在 1024 输入内，首字时延实现 3~8倍 加速，生成速度稳定提升至 2 倍以上。

• 天玑9500： 相比 Q4 格式，首字时延提升 1.5~2倍，生成速度约提升 1.5倍。

• 全思考能力： 沿用 Hunyuan-1.8B-Instruct 的长/短思维链模式，用户可按任务复杂度灵活切换。

未来布局

当前，模型已提供 GGUF-int2 格式权重，并完成 Arm SME2 平台适配，适用于手机、耳机、智能家居等对离线运行与隐私有极高要求的场景。腾讯混元表示，后续将通过强化学习与蒸馏进一步缩小低比特模型与全精度模型的差距。