奥斯汀，德克萨斯州 – 人工智能视频生成领域迎来一项重大突破。Adobe Research 与德克萨斯大学奥斯汀分校近日联合发布了一款名为 Self Forcing 的新型自回归视频生成算法，该模型旨在解决传统生成模型在训练和测试过程中存在的“暴露偏差”问题，并实现高效、实时的视频生成。这一技术突破为直播、游戏和实时交互应用开辟了新的可能性。
Self Forcing：弥合训练与测试的鸿沟
长期以来，自回归视频生成模型面临着一个挑战：在训练阶段，模型依赖于真实的视频帧来预测后续帧；而在实际应用中，模型则需要根据自身生成的帧进行预测。这种训练与测试环境的差异，导致模型在生成过程中容易出现误差累积，从而影响视频质量，这就是所谓的“暴露偏差”。
Self Forcing 的核心创新在于，它在训练阶段模拟了自生成过程，让模型以先前生成的帧为条件来生成后续帧，而非依赖真实帧。这种方法有效地弥合了训练与测试阶段的分布差异，显著提高了生成视频的质量和稳定性。
实时生成与无限时长：技术亮点解析
除了解决暴露偏差问题，Self Forcing 还具备以下关键技术特点：
- 高效实时视频生成： Self Forcing 能够在单个 GPU 上实现高达 17 FPS 的实时视频生成，延迟低于一秒。这意味着用户可以实时看到生成的视频内容，极大地提升了用户体验。
- 无限长视频生成： 传统的视频生成模型往往受到时长限制。Self Forcing 引入了滚动 KV 缓存机制，该机制维护一个固定大小的缓存区，存储最近几帧的 KV 嵌入，当生成新帧时，缓存区会移除最旧的条目并添加新的嵌入。通过这种方式，Self Forcing 支持理论上无限长的视频生成，为动态视频创作提供了强大的支持。
- 低资源需求： Self Forcing 优化了计算资源的使用，能在单张 RTX 4090 显卡上实现流式视频生成，降低了对硬件资源的依赖，更易于在普通设备上部署和使用。
- 动态条件生成机制： 在生成每一帧时，Self Forcing 动态结合两类条件输入：过去时间步已生成的清晰帧和当前时间步的噪声帧。通过迭代去噪完成生成，确保了生成过程的连贯性和自然性。
应用前景广阔：从直播到世界模拟
Self Forcing 的高效性和实时性使其在多个领域具有广阔的应用前景：
- 直播与实时视频流： 在直播场景中，Self Forcing 可以实时生成虚拟背景、特效或动态场景，为观众带来全新的视觉体验。
- 游戏开发： 游戏开发者可以利用 Self Forcing 实时生成游戏场景和特效，无需预先制作大量的视频资源，从而降低开发成本，并根据玩家的实时操作生成动态的环境变化或特效，增强游戏的沉浸感和交互性。
- 虚拟现实与增强现实： Self Forcing 的低延迟和高效生成能力能为虚拟现实（VR）和增强现实（AR）应用提供实时的视觉内容，提升用户体验。
- 内容创作与视频编辑： Self Forcing 可以用于短视频创作工具，帮助创作者快速生成高质量的视频内容。
- 世界模拟与训练： Self Forcing 可以用于世界模拟和训练场景，例如生成逼真的自然环境或城市景观，用于军事训练、城市规划或环境模拟。
展望未来：多模态内容创作的新引擎
Self Forcing 的出现，不仅解决了自回归视频生成模型的技术难题，更预示着多模态内容创作即将迎来新的发展机遇。随着技术的不断进步，我们有理由相信，Self Forcing 将成为未来内容创作的重要工具，为各行各业带来创新和变革。
相关链接
- 项目官网： https://self-forcing.github.io/
- Github仓库： https://github.com/guandeh17/Self-Forcing
- arXiv技术论文： https://arxiv.org/pdf/2506.08009
关于Adobe Research：
Adobe Research 是 Adobe 公司的研究部门，致力于探索和开发下一代数字媒体技术。
关于德克萨斯大学奥斯汀分校：
德克萨斯大学奥斯汀分校是美国顶尖的公立研究型大学之一，在计算机科学、工程学等领域享有盛誉。
（完）
Views: 0