“`markdown

快手联合多所高校发布SketchVideo：草图驱动视频生成与编辑新纪元

北京，2024年5月15日 – 在人工智能视频生成与编辑领域，中国科技公司快手再次走在了前沿。今日，快手联合中国科学院大学、香港科技大学等知名高校，正式推出了一款革命性的视频生成与编辑框架——SketchVideo。该框架基于草图控制技术，结合文本提示，旨在为用户提供前所未有的视频创作自由度和精细化控制能力，标志着视频内容创作进入了一个全新的时代。

引言：视频创作的未来，由你“画”定

在信息爆炸的时代，视频已成为人们获取信息、表达观点、分享生活的重要载体。然而，传统的视频制作过程往往耗时耗力，需要专业的技能和昂贵的设备。随着人工智能技术的快速发展，AI视频生成工具应运而生，极大地降低了视频创作的门槛。但现有AI视频生成工具在控制精度和个性化定制方面仍存在诸多局限，难以满足用户对视频内容深度定制的需求。

快手此次发布的SketchVideo，正是为了解决这些痛点而生。它创新性地将草图作为视频生成与编辑的核心控制手段，用户只需在关键帧上绘制简单的草图，并结合文本描述，即可精确控制视频的空间布局和运动轨迹。这种全新的创作模式，不仅降低了视频创作的难度，更赋予了用户更大的创作自由度和个性化表达空间。

SketchVideo：技术原理与核心功能

SketchVideo的核心在于其强大的草图控制网络和视频编辑能力。该框架基于DiT（Diffusion-based Transformer）视频生成模型，并在此基础上进行了深度优化和创新，实现了对视频内容的高度可控和精细化编辑。

1. 草图条件网络：精准控制，细节呈现

SketchVideo的核心技术之一是其自主研发的草图条件网络。该网络基于DiT视频生成模型，通过设计专门的草图控制块，将用户的草图信息融入到视频生成过程中。

• DiT模型基础： DiT模型是一种基于扩散模型的Transformer架构，在图像和视频生成领域表现出色。它通过逐步去噪的方式，将随机噪声转化为高质量的图像或视频。
• 草图控制块： 为了实现对视频内容的空间布局和运动轨迹的精准控制，SketchVideo设计了多个草图控制块。这些控制块均匀分布在DiT模型的不同层次中，负责预测跳过的DiT块的残差特征，从而在不同层次的特征中注入控制信号。
• 多层次控制： 通过在不同层次的特征中注入控制信号，草图条件网络能够实现对视频内容的多层次控制。用户可以通过草图调整视频的整体布局、物体的位置和大小，以及物体的运动轨迹等。

2. 帧间注意力机制：时空传播，连贯一致

为了确保视频的时空连贯性，SketchVideo引入了帧间注意力机制。该机制能够将关键帧上的草图条件传播到所有视频帧中，从而保证视频在时间维度上的流畅性和一致性。

• 关键帧控制： 用户只需在少数关键帧上绘制草图，即可控制整个视频的运动轨迹和空间布局。
• 注意力机制： 帧间注意力机制通过计算所有帧的隐藏特征与控制帧的隐藏特征之间的关系，实现对草图特征的时空传播。
• 时空一致性： 通过帧间注意力机制，SketchVideo能够确保视频在时间维度上的流畅性和一致性，避免出现画面跳跃或物体运动不连贯等问题。

3. 视频插入模块：无缝融合，自然过渡

在视频编辑方面，SketchVideo设计了视频插入模块，用于将用户编辑的新内容与原始视频进行无缝融合。

• 关系分析： 视频插入模块能够分析输入草图与原始视频之间的关系，理解用户的编辑意图。
• 内容生成： 基于对用户意图的理解，视频插入模块能够生成与原始视频空间和时间上一致的新内容。
• 无缝融合： 通过精细的图像处理技术，视频插入模块能够确保编辑后的视频与原始视频无缝融合，避免出现明显的拼接痕迹。

4. 潜在融合技术：细节保留，视觉自然

为了保留原始视频的细节，SketchVideo采用了潜在融合技术。该技术基于DDIM（Denoising Diffusion Implicit Models）反演，能够生成输入视频的噪声潜在码。

• DDIM反演： DDIM反演是一种将图像或视频转化为噪声潜在码的技术。通过反演过程，可以将原始视频的信息编码到潜在空间中。
• 细节保留： 在视频编辑过程中，SketchVideo会在未编辑区域替换这些潜在码，从而保留原始视频的细节。
• 视觉自然： 通过潜在融合技术，SketchVideo能够确保编辑后的视频在视觉上自然、连贯，避免出现细节丢失或画面失真等问题。

5. 混合训练策略：数据增强，效果提升

为了提升模型的训练效果，SketchVideo采用了混合训练策略，结合图像和视频数据进行训练。

• 图像数据加速收敛： 在训练的第一阶段，SketchVideo使用大量的图像和视频数据，加速模型的收敛速度，并解决视频数据有限的问题。
• 视频数据优化连贯性： 在第二阶段，SketchVideo使用视频数据，进一步优化模型的时间连贯性，提升视频生成的质量。

核心功能总结：

• 视频生成： 基于草图和文本生成视频，用户可以通过简单的草图和文字描述，快速生成高质量的视频内容。
• 视频编辑： 在关键帧上画草图修改视频内容，用户可以通过在关键帧上绘制草图，对视频内容进行精细化编辑和修改。
• 动态控制： 支持运动插值和外推，用户可以通过控制关键帧的运动轨迹，实现对视频中物体运动的精确控制。
• 细节保留： 编辑时保留未修改区域的细节，用户在编辑视频时，可以保留原始视频的细节，避免出现细节丢失或画面失真等问题。
• 高效生成： 内存优化，快速生成高质量视频，SketchVideo经过内存优化，能够快速生成高质量的视频内容，提高用户的创作效率。

SketchVideo的应用场景：无限可能，触手可及

SketchVideo的强大功能和灵活的应用方式，使其在多个领域都具有广阔的应用前景。

1. 影视与广告：创意无限，降本增效

在影视与广告行业，SketchVideo可以帮助制作人员快速生成创意视频和特效预览，优化制作流程，节省时间和成本。

• 快速预览： 制作人员可以通过SketchVideo快速生成视频的预览版本，以便进行方案评估和修改。
• 特效制作： SketchVideo可以用于制作各种特效，例如物体变形、场景切换等，提升视频的视觉效果。
• 降本增效： 通过SketchVideo，影视与广告公司可以降低视频制作的成本，提高制作效率。

2. 教育与培训：生动形象，寓教于乐

在教育与培训领域，SketchVideo可以辅助制作教学视频和培训材料，提升教学效果。

• 动画演示： 教师可以使用SketchVideo制作动画演示，生动形象地讲解抽象概念。
• 互动教学： SketchVideo可以用于制作互动教学视频，让学生参与到视频创作中，提高学习兴趣。
• 个性化定制： 教师可以根据学生的学习情况，使用SketchVideo定制个性化的教学视频。

3. 游戏开发：高效便捷，创意无限

在游戏开发领域，SketchVideo可以快速生成关卡预览和角色动画，提高开发效率。

• 关卡预览： 游戏开发者可以使用SketchVideo快速生成关卡预览，以便进行关卡设计和测试。
• 角色动画： SketchVideo可以用于制作角色动画，例如行走、跳跃、攻击等，丰富游戏内容。
• 提高效率： 通过SketchVideo，游戏开发者可以提高开发效率，缩短开发周期。

4. 个人创作：轻松上手，表达自我

对于个人用户来说，SketchVideo可以帮助他们轻松创作个性化短视频，降低创作门槛。

• 简单易用： SketchVideo的操作简单易懂，即使没有专业的视频制作经验，也可以轻松上手。
• 个性化定制： 用户可以使用SketchVideo创作个性化的短视频，表达自己的想法和情感。
• 降低门槛： SketchVideo降低了视频创作的门槛，让更多人可以参与到视频创作中。

5. 建筑设计：动态展示，增强沟通

在建筑设计领域，SketchVideo可以生成建筑和室内设计的动态预览，增强客户沟通。

• 动态预览： 建筑设计师可以使用SketchVideo生成建筑和室内设计的动态预览，让客户更直观地了解设计方案。
• 方案展示： SketchVideo可以用于展示不同的设计方案，方便客户进行选择和决策。
• 增强沟通： 通过SketchVideo，建筑设计师可以与客户进行更有效的沟通，提高客户满意度。

项目信息与未来展望

SketchVideo的项目地址如下：

• 项目官网： http://geometrylearning.com/SketchVideo
• GitHub仓库： https://github.com/IGLICT/SketchVideo
• arXiv技术论文： https://arxiv.org/pdf/2503.23284

快手表示，未来将继续加大在人工智能视频生成与编辑领域的投入，不断优化SketchVideo的功能和性能，并积极探索其在更多领域的应用。同时，快手也将与更多高校和研究机构合作，共同推动人工智能技术的发展，为用户提供更优质、更便捷的视频创作工具。

结论：开启视频创作新篇章

SketchVideo的发布，标志着视频创作进入了一个全新的时代。它以草图为核心控制手段，结合文本提示，为用户提供了前所未有的视频创作自由度和精细化控制能力。相信在不久的将来，SketchVideo将在影视、教育、游戏、个人创作、建筑设计等领域发挥重要作用，为人们带来更加丰富多彩的视频内容体验。

快手此次联合多所高校推出的SketchVideo，不仅是一项技术创新，更是一次对视频创作模式的深刻变革。它将视频创作的权力交还给用户，让每个人都可以成为视频创作者，用自己的创意和想法，描绘出精彩纷呈的视频世界。
“`

>>> Read more <<<

Views: 2