当全球AI的目光仍停留在那些吞噬万亿参数的庞大模型上时,一场围绕算力效率的变革,已在底层代码世界悄悄展开。来自开源圈的顶尖推理引擎vLLM的原班团队,今日正式宣布成立AI基础设施公司Inferact,计划在AI推理的荒原上建立全新规则
资本市场对这位“含着金钥匙”出生的新公司表现出近乎狂热的关注。相关消息称,Inferact在种子轮融资就拿到约8亿美元的估值,并获得1.5亿美元的资金支持

作为开源社区的热门项目,vLLM早已在开发者群体中打下深刻印记。它一套架构支撑500多类模型,在200多种硬件加速器上运转顺畅,并承担起全球规模的推理任务
在AI发展的长河里,如果说训练是漫长的“闭门打磨”,那么推理就是走向真实场景的实战
© 版权声明
AI智能体所有文章,如无特殊说明或标注,均为本站作者原创发布。任何个人或组织,在未征得作者同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若此作者内容侵犯了原著者的合法权益,可联系客服处理。
THE END


















用户38505528 5个月前0
粘贴不了啊用户12648782 6个月前0
用法杂不对呢?yfarer 6个月前0
草稿id无法下载,是什么问题?