北京 – 在人工智能视频生成领域，一项突破性技术正悄然兴起。快手联合浙江大学和新加坡国立大学 Show Lab 近日开源了名为 DragAnything 的可控视频生成方法，该技术基于实体表示，允许用户通过简单的轨迹输入，精确控制视频中任意物体的运动，为视频创作和编辑带来了前所未有的灵活性和控制力。
这项研究成果已在 arXiv 上发布，论文链接为 https://arxiv.org/pdf/2403.07420。项目代码和演示可在 GitHub 仓库 https://github.com/showlab/DragAnything 以及项目官网 https://weijiawu.github.io/draganything 上找到。
DragAnything 的核心优势
与传统的像素级操作不同，DragAnything 采用了一种全新的实体表示方法，从扩散模型的潜在特征中提取语义信息，从而更准确地表征视频中的每个物体。这意味着用户不再需要费力地拖动像素点，而是可以直接控制物体的运动轨迹，实现更加自然和精确的运动效果。
DragAnything 的主要功能包括：
- 实体级运动控制： 精确控制视频中任何实体的运动，包括前景和背景。
- 多实体独立控制： 同时控制多个物体的运动，每个物体可以根据用户定义的轨迹进行不同的运动。
- 用户友好的交互方式： 用户只需简单的交互操作（如选择区域并拖动）即可实现复杂的运动控制。
- 相机运动控制： 除了控制视频中的物体，DragAnything 还能控制相机的运动，如缩放和平移。
- 高质量视频生成： 在保持运动控制精度的同时，生成高质量的视频内容。
技术原理：实体表示与扩散模型的巧妙结合
DragAnything 的核心技术在于其独特的实体表示方法和对扩散模型的巧妙运用。
该技术引入了 2D 高斯表示，通过高斯分布对物体的中心区域赋予更高的权重，从而减少边缘像素的影响，实现更自然的运动控制。此外，DragAnything 基于扩散模型架构（如 Stable Video Diffusion），利用其强大的生成能力和去噪能力生成高质量的视频内容。
在训练阶段，DragAnything 使用带有掩码的均方误差（MSE）损失函数，专注于优化用户指定区域的运动控制，同时保持其他区域的生成质量。
应用场景：无限可能
DragAnything 的应用前景十分广阔，涵盖了多个领域：
- 视频创作与编辑： 快速生成动画、调整物体运动轨迹，显著提升创作效率。
- 游戏开发： 生成角色动作和增强玩家的交互体验。
- 教育与培训： 辅助科学模拟和技能培训，帮助理解复杂运动过程。
- 广告与营销： 制作动态广告和产品展示，突出产品特点。
- 娱乐与社交： 生成互动视频和控制虚拟角色动作，增强趣味性。
专家观点
“DragAnything 的出现，标志着可控视频生成技术迈上了一个新的台阶，” 一位匿名的人工智能专家表示，“它不仅提供了更加精确和灵活的控制方式，也极大地降低了视频创作的门槛，让更多人能够轻松地创作出高质量的视频内容。”
未来展望
DragAnything 的开源，无疑将加速可控视频生成技术的发展和应用。随着技术的不断完善和优化，我们有理由相信，DragAnything 将在未来的视频创作领域发挥越来越重要的作用，为用户带来更加丰富和便捷的创作体验。
参考文献
- Wu, W., et al. (2024). DragAnything: Controllable Video Generation with Trajectory-Guided Subject Manipulation. arXiv preprint arXiv:2403.07420.
- Show Lab, National University of Singapore. (2024). DragAnything GitHub Repository. Retrieved from https://github.com/showlab/DragAnything
- Weijia Wu. (2024). DragAnything Project Website. Retrieved from https://weijiawu.github.io/draganything
Views: 1