字节发布 InfinityStar 框架:5秒720p视频生成仅需58秒

近日,字节跳动发布全新 InfinityStar 框架,大幅提升视频生成效率:制作一段5秒720p视频现在最快约58秒即可完成。该方案不仅加速生成,还以统一架构覆盖多种视觉生成任务,如图像生成、文生视频、视频续写等。

image.png

InfinityStar 的设计源于对视频数据结构的深入理解。不同于把视频当作一个整体三维数据块的传统方式,它引入“时空金字塔”思路,明确区分空间尺度与时间维度。借此,模型可分别处理外观细节与运动变化,大幅提升生成质量。

image.png

为进一步提升效率,InfinityStar 采用“知识继承”策略,以上游预训练的变分自编码器(VAE)为基础进行迁移学习。通过这种方式,新模型能更快掌握高质量视频特征,显著缩短训练时间并降低算力成本。

实验结果表明,InfinityStar 在保证优秀画面表现的同时,实现了超快生成速度。该框架的推出不仅代表视觉生成技术的又一次突破,也为未来长视频创作和多样化任务处理奠定了坚实基础。

github:https://github.com/FoundationVision/InfinityStar

划重点:

– 🚀 5秒720p视频约58秒即可生成,效率显著提升。

– 🏗️ 采用时空金字塔,将外观与运动信息解耦,画面更稳定、质感更好。

– 📈 引入知识继承与预训练 VAE,加速学习并降低计算开销。

爱智特-AI智能体一站式企业智能体交易学习发行平台|智能体教程|智能体社区
© 版权声明
THE END
喜欢就支持一下吧
点赞9 分享