MIT 发布“实例自适应缩放”：按问题难度分配算力，大幅提升 LLM 效率

MIT 研究团队近日提出一套全新的计算策略，目标是在保证效果的同时，让大型语言模型（LLM）用更少的算力与能耗完成任务。这项方法名为“实例自适应缩放”，核心思路是根据问题的难易程度，动态分配计算资源。相关论文已于 11 月上旬发布，研究获得 MIT‑IBM 沃森人工智能实验室、MIT‑Amazon 科学中心、MIT‑Google 计算创新项目与 MathWorks 的支持。

图源说明：图片由 AI 生成，授权来自 Midjourney

以往的大模型常用固定配置的推理过程奖励模型（PRMs），不管题目难度如何，都走同样的推理流程。这不仅浪费算力，还经常高估答案的可靠性。MIT 团队通过重做 PRMs 的设计，让模型能按问题复杂度灵活调整“推理分支”的数量：简单题少走几条路，复杂题多给几条路，从而把算力用在刀刃上。

研究人员指出，人类解题会先拆解问题、逐步推理、再不断修正；LLM 同样可以从这种“多想一步”的过程受益。实验显示，采用该方法后，整体算力开销可减少约一半，同时答案准确度与主流方法相当。此外，经过重新校准的 PRMs 还能显著带动体量更小的 LLM 表现。

基于目前的成果，团队计划把该思路拓展到更多场景，例如代码生成与智能体，并进一步探索 PRM 校准在强化学习等方向的应用潜力。

划重点:  

💡 “实例自适应缩放”可按问题复杂度动态分配大模型的计算资源。  

🔍 通过重设计的 PRMs，简单问题少算、复杂问题多算，算力利用更高效。  

⚙️ 实验表明：在精度相近的前提下，计算量可降至约一半，且具备跨场景拓展的潜力。