以小博大反超 10 倍体量:苹果推出 RubiCap 图像描述新框架

在计算机视觉圈,一直存在一个难点:如何让 AI 像人类一样看图,并把画面里的每个细节讲清楚。近日,苹果公司联合威斯康星大学麦迪逊分校,正式发布了一款名为RubiCap的全新 AI 训练框架。

这套框架面向“密集图像描述”,目标是不再只给出笼统概括,而是能精准捕捉并说明“桌上的红苹果”或“远处的行人”等细节。

image.png

小模型反击的强化学习:Qwen2.5 充当“裁判”

传统图像标注不是成本高的人工作业,就是依赖容易产生幻觉的大模型,导致数据质量参差不齐。苹果研究团队用一套创新的强化学习方案来破题:系统先用 GPT-5 和 Gemini 2.5 Pro 生成候选描述,随后由 Gemini 2.5 Pro 提炼评分标准,再由 Qwen2.5 模型 担任裁判打分反馈。

这种结构化且精准的反馈,让模型在训练过程中能清楚发现并修正错误,从而在更小的参数规模下也能获得更高的描述准确度。

小而强的胜利:更低幻觉率超越超大规模模型

基于该框架训练出的RubiCap系列模型(涵盖 20 亿至 70 亿参数)在测试中展现了出色的效率。实验数据表明,仅有 70 亿参数的 RubiCap 模型在盲测中拿到最高排名,其“幻觉”错误率甚至低于参数量高达 720 亿的前沿大模型。更意外的是,30 亿参数的微型版本在部分指标上还反超了 70 亿版本。

这一结果清楚地表明,高质量的图像理解并不依赖一味堆砌参数,更关键的是更科学的训练范式。

爱智特-AI智能体一站式企业智能体交易学习发行平台|智能体教程|智能体社区
© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享