预训练受阻：SemiAnalysis 称 OpenAI 已两年半未跑通新前沿大模型

据 SemiAnalysis 近期报告，自2024年5月 GPT-4o 发布以来，OpenAI 尚未完成任何一次“面向下一代前沿模型”的大规模预训练任务，其一线团队多次尝试把参数与数据进一步放大，但因收敛困难或出现性能倒挂而多次叫停。这使得被寄予厚望的 GPT-5 系列实质上仍是 GPT-4o 的优化版，未实现架构级突破。

与此同时，谷歌 TPUv7已在 Gemini3 等模型上完成大规模预训练验证，在相同算力集群下的总体拥有成本（TCO）比英伟达方案低约30%。SemiAnalysis 指出，OpenAI 甚至“尚未真正把 TPU 部署到生产”，仅有评估消息，就促使英伟达在现有 GPU 集群报价上让步，为 OpenAI 节省约三成成本——侧面体现了 TPU 的性价比优势。

业内普遍认为，预训练的 Scaling 定律正遭遇数据、算力与模型配方三重瓶颈：优质互联网数据接近枯竭，合成数据成本高达1亿美元/1TB，十万卡集群故障频发，更大规模 MoE 的超参数也难以摸索。OpenAI 的放缓被视为赛道迈入“后 Scaling 时代”的信号，各家开始将重心转向推理模型、自博弈 RL 与多模态后训练，以寻找新的增量突破。