北京时间[当前日期]讯 – 阿里巴巴通义实验室近日正式发布其最新研发成果——VACE (Video Creation and Editing)，一个旨在革新视频内容创作方式的一站式视频生成与编辑框架。该框架整合了多种视频处理任务，包括文本到视频生成、参考视频生成、视频编辑以及遮罩编辑等，力求通过统一模型实现高效、灵活且创新的视频内容创作。
VACE的核心在于其Video Condition Unit (VCU) 技术。VCU能够将文本、图像、视频和遮罩等多种模态的输入信息整合为统一的条件单元，从而支持多种任务的灵活组合。这一创新设计使得用户能够以更加直观和高效的方式操控视频内容，极大地拓展了视频创作的可能性。
VACE的主要功能亮点：
- 文本到视频生成： 用户只需输入文本描述，即可快速生成相应的视频内容，为广告、动画等创意视频的制作提供了便捷途径。
- 参考到视频生成： 结合文本描述和参考图像，VACE能够生成更具针对性的视频内容，满足用户对特定风格和主题的需求。
- 视频扩展： 基于现有视频片段，VACE能够智能生成新的开头或结尾，轻松延长视频内容，提升视频的完整性和吸引力。
- 视频到视频编辑： VACE支持对输入视频进行整体风格转换，例如色彩化、风格化等，让视频焕发新生。
- 遮罩视频编辑： 用户可以在视频的指定区域进行编辑，如修复、扩展等，实现精细化的视频处理。
- 主体移除与重建： VACE能够移除视频中的特定主体，并智能填充背景，为视频编辑提供更多创意空间。
- 任务组合与创新： VACE支持将多种任务进行组合，例如参考生成+主体替换、姿态控制+视频扩展等，从而实现更加复杂和个性化的视频创作。
技术原理深度解析：
VACE的技术核心在于其创新的Video Condition Unit (VCU) 和 Context Adapter 结构。VCU作为统一的输入接口，能够整合多种模态的输入信息，而Context Adapter则负责将不同任务的概念注入模型，并适应不同的任务需求。此外，VACE还采用了扩散模型（如Diffusion Transformer）构建，通过逐步去噪的方式生成高质量的视频内容。
VACE支持文本、图像、视频和遮罩等多种输入模态，并基于特定的编码器将其映射到统一的特征空间。例如，视频VAE（Variational Autoencoder）用于处理视频输入，而分割和掩码操作则用于处理局部编辑任务。
在训练与优化策略方面，VACE采用了逐步训练策略，从基础任务（如修复、扩展）开始，逐步扩展到复杂任务（如组合任务）。同时，VACE还支持全模型微调和上下文适配器微调，后者能够更快收敛，并支持插件式功能。
VACE的应用前景展望：
VACE的推出，无疑为视频内容创作领域带来了新的可能性。其广泛的应用场景包括：
- 创意视频生成： 快速生成广告、动画等创意视频内容，降低创作门槛。
- 视频修复与增强： 修复老视频、填补画面缺失部分或提升视频风格，让经典重焕光彩。
- 高效视频编辑： 实现主体替换、动画添加等复杂编辑任务，提升编辑效率。
- 视频扩展： 为短视频生成新片段，延长视频内容，增加用户粘性。
- 互动视频创作： 根据用户输入（如姿态、草图）生成个性化视频，增强用户参与感。
项目地址：
- 项目官网：https://ali-vilab.github.io/VACE-Page/
- GitHub仓库：https://github.com/ali-vilab/VACE
- arXiv技术论文：https://arxiv.org/pdf/2503.07598
VACE的发布，标志着阿里巴巴在AI视频生成与编辑领域迈出了重要一步。随着技术的不断发展和完善，VACE有望成为视频内容创作领域的重要工具，为用户带来更加高效、便捷和创新的创作体验。
关键词： 阿里巴巴，通义，VACE，视频生成，视频编辑，AI，人工智能，扩散模型，多模态输入，内容创作。
Views: 2