GenProp横空出世，AI视频编辑或颠覆传统

引言：

在人工智能领域，文本到视频（Text-to-Video）模型的潜力正日益显现，它不仅能生成逼真的视频内容，更预示着一个“世界模拟器”时代的到来。近日，香港中文大学贾佳亚教授团队与Adobe Research合作，推出了名为GenProp（Generative Video Propagation）的创新模型，该模型在视频编辑领域展现出惊人的能力，引发了业界对于AI如何革新传统视觉任务的广泛讨论。

主体：

1. GenProp：不止于“传播”，更胜于“感知”

传统上，视频编辑任务如物体追踪（Instance Tracking）被视为感知问题，需要模型具备精准的识别和定位能力。然而，贾佳亚团队的GenProp却另辟蹊径，利用生成模型的优势，在“传播”（Propagation）任务上取得了突破。

与以往依赖大规模分割数据训练的感知模型（如SAM）相比，GenProp能够更好地处理复杂场景，如物体阴影、反射等。这种能力得益于其强大的视频生成基础，使得模型不仅能追踪物体本身，还能捕捉到物体产生的各种“副作用”。这不禁让人思考：能够生成的视觉现象，是否也能被感知？生成式的大规模预训练，或许能弥补感知模型的一些不足。

GenProp并非追求在单一任务上达到最佳性能，而是致力于拓展每个问题的边界，展现传统方法无法实现的效果。

2. GenProp的“魔法”：物体移除、替换、特效编辑，无所不能

GenProp在多种视频编辑任务中展现出卓越的能力，包括：

物体移除： GenProp不仅能移除物体本身，还能同时消除其产生的阴影和反射，这是传统方法难以企及的。
物体插入： GenProp不仅能插入静止物体，还能生成符合物理规律的运动物体，如行驶的赛车、掉落的柠檬。
物体替换： GenProp可以大幅改变替换物体的形状，例如将熊变成羊，将人变成石台，这远超传统视频编辑方法的能力。
特效编辑： GenProp甚至可以编辑特效，如使钓鱼竿着火，这在以往的编辑算法中是较为薄弱的环节。
背景替换： GenProp能使生成物体与新背景自然融合，适应协调。
视频外绘（Outpainting）： GenProp在没有专门训练的情况下，展现出补全大面积运动区域的能力，体现了模型的通用性。

3. 技术解析：选择性编码与传播机制

GenProp的核心在于其独特的框架，该框架集成了选择性内容编码器（Selective Content Encoder，SCE）和掩码预测解码器（Mask Decoder）。

选择性内容编码器（SCE）： SCE负责接收原始视频作为输入，保留未改变区域的内容。
Image-to-Video（I2V）模型： 首帧所做的更改会通过I2V模型在整个视频中传播，而其他区域则保持不变。
掩码预测解码器（Mask Decoder）： 强制模型传播编辑区域的同时，保留原始视频中其他所有区域的内容。

通过调整注入权重（Injection Weight），可以控制生成和重建的比例，从而实现灵活的编辑效果。

4. 数据驱动：合成数据与多任务训练

为了训练模型，研究人员采用了多种数据制造技术，针对不同的传播子任务进行了设计，包括：

Copy-and-Paste： 从一个视频中随机分割物体并粘贴到另一个视频中，模拟物体移除。
Mask-and-Replace： 将视频中的物体替换为其他物体，模拟物体替换。
Mask-and-Inpaint： 将视频中的物体移除，并用其他内容填充，模拟物体移除和视频补全。
Outpainting： 将视频的边缘区域扩展，模拟视频外绘。

这些合成数据仅作为SCE的输入，而模型输出则采用原始视频，保证了模型输出的视频质量不会被降低。

5. 展望：AI视频编辑的未来

GenProp的出现，不仅为视频编辑领域带来了新的可能性，也引发了人们对AI未来发展的思考。这种基于生成模型的“传播”方式，或许将成为未来视频编辑的主流方向。GenProp的成功也预示着，AI在视觉任务上的能力正在不断增强，未来或许能彻底改变我们与视觉内容交互的方式。

结论：

贾佳亚团队与Adobe合作推出的GenProp模型，凭借其强大的生成能力和灵活的编辑功能，在视频编辑领域取得了显著突破。它不仅能完成传统的物体追踪、移除等任务，还能进行特效编辑、背景替换等复杂操作，甚至展现出视频外绘的能力。GenProp的出现，预示着AI在视觉任务上的巨大潜力，或将革新传统视觉任务，为未来的视频编辑和内容创作带来无限可能。

参考文献：