旧金山—— 在人工智能视频生成领域，Meta公司近日发布了一项名为VideoJAM的创新框架，旨在显著提升生成视频的运动连贯性。这项技术通过让模型在训练阶段同时学习预测视频的像素和运动信息，并在推理阶段利用模型自身的运动预测作为动态引导信号，从而生成更加自然流畅的视频内容。
VideoJAM的推出，无疑为解决当前视频生成技术中普遍存在的运动不连贯、画面扭曲等问题提供了一种全新的思路。
VideoJAM：不仅仅是“看起来像”
长期以来，AI视频生成技术主要关注如何生成逼真的视觉效果，但往往忽略了视频中运动的合理性和连贯性。这导致生成的视频虽然在静态画面上足够精美，但在动态表现上却显得生硬和不自然。VideoJAM的出现，正是为了弥补这一短板。
VideoJAM的核心在于引入了“联合外观-运动表示”的概念。这意味着在训练过程中，模型不仅要学习预测视频的像素信息（即“外观”），还要学习预测视频的运动信息，例如光流。通过这种方式，模型能够更好地理解视频中物体运动的规律，从而生成更符合物理规律的运动效果。
具体来说，VideoJAM在训练目标中加入了运动预测，并在推理时采用了名为“Inner-Guidance”的动态引导机制。这种机制利用模型自身不断演化的运动预测作为引导信号，确保生成的视频在运动上更加合理和连贯。
技术细节：光流与动态引导
为了实现上述目标，VideoJAM在技术上做了以下几点创新：
- 联合外观-运动表示： 在模型的输入端添加一个线性层，将视频和运动信息合并为一个联合表示；在输出端添加另一个线性层，从联合表示中提取运动预测。目标函数也被修改为同时优化外观和运动的预测。
- 运动表示： 使用光流作为运动表示，将光流转换为RGB视频，以便模型能够处理运动信息。光流是一种描述图像中像素点运动轨迹的技术，能够有效地捕捉视频中的运动信息。
- 动态引导机制（Inner-Guidance）： 在生成视频时，VideoJAM利用模型自身不断演化的运动预测作为动态引导信号。基于修改采样分布，引导生成过程朝着连贯运动的方向发展。
广泛的应用前景
VideoJAM的通用性是其另一大亮点。Meta表示，VideoJAM可以应用于任何视频生成模型，无需修改训练数据或扩大模型规模。这意味着现有的视频生成技术可以很容易地集成VideoJAM，从而提升生成视频的质量。
VideoJAM的应用场景非常广泛，包括：
- 娱乐与影视制作： 生成创意视频、动画、特效，提升制作效率和视觉效果。例如，可以用于制作广告、科幻或动作视频。
- 游戏开发： 生成游戏中的角色动作和特效动画，优化游戏性能，同时在游戏测试和开发阶段的快速原型制作。
- 教育与培训： 在军事、航空、医疗等领域生成模拟训练视频，帮助学员熟悉操作流程；也可用于在线教育，制作生动的教学视频。
- 广告与营销： 制作吸引人的广告视频和产品演示视频，用于社交媒体、电视广告等，提升品牌影响力和产品展示效果。
- 社交媒体与内容创作： 帮助用户快速生成有趣、高质量的视频内容，满足创作者的多样化需求，提升社交媒体的互动性。
挑战与展望
尽管VideoJAM在提升视频生成质量方面取得了显著进展，但仍面临一些挑战。例如，如何更准确地捕捉和预测复杂的运动模式，以及如何进一步提高生成视频的真实感和细节表现等。
不过，随着人工智能技术的不断发展，相信这些问题都将逐步得到解决。VideoJAM的推出，无疑为视频生成技术的发展注入了新的活力，也预示着未来我们将能够看到更加逼真、流畅和富有创意的AI生成视频内容。
参考文献：
- VideoJAM项目官网: https://hila-chefer.github.io/videojam
- VideoJAM技术论文: https://hila-chefer.github.io/videojam-paper.github.io/VideoJAM_arxiv.pdf
Views: 0