深圳/香港 – 在人工智能技术日新月异的今天，视频创作领域正迎来一场新的变革。腾讯 PCG ARC Lab 与香港中文大学近日联合推出了一项名为 TrajectoryCrafter 的创新技术，该技术能够实现单目视频的相机轨迹重定向，为视频创作者提供前所未有的自由度和灵活性。
TrajectoryCrafter 的核心在于其能够在后期自由调整视频的相机位置和角度，从而轻松改变视频中的运镜方式。这意味着，即使在拍摄完成后，创作者仍然可以对视频的视角、运动轨迹进行精细调整，实现各种创意性的视觉效果。
技术原理：解耦视图变换与内容生成
TrajectoryCrafter 的技术突破得益于其独特的双流条件视频扩散模型，该模型将视图变换和内容生成进行了解耦。通过点云渲染实现精确的视图变换，同时利用视频扩散模型生成高质量的内容。
具体来说，该模型包含两个关键的条件输入：点云渲染和源视频。点云渲染负责精确控制视图变换，而源视频则提供细节和纹理信息。模型通过独特的 Ref-DiT 模块（参考条件扩散变换器），将源视频的细节信息通过交叉注意力机制注入到生成过程中，从而显著提升生成视频的保真度。
此外，TrajectoryCrafter 还采用了动态点云渲染技术，将单目视频转换为动态点云，并根据用户指定的相机轨迹渲染新视图。这种方法能够准确捕捉几何关系和视图变换，为后续的视频生成提供几何指导。
混合数据集与训练策略：提升泛化能力
为了提升模型在多样化场景中的泛化能力，TrajectoryCrafter 采用了混合数据集策略，结合了网络规模的单目视频和静态多视角数据集进行训练。针对单目视频，研究团队还开发了双重重投影策略，通过深度估计将视频提升为点云，渲染新视图后再重新投影回原始视角，模拟点云渲染的效果，从而生成大规模的训练样本。
在训练过程中，模型采用了两阶段训练策略。第一阶段专注于视图变换的准确性和缺失区域的合成；第二阶段则利用多视角数据集进行训练，以提升生成视频与源视频的一致性。
应用场景：潜力无限
TrajectoryCrafter 的应用前景十分广阔，涵盖了多个领域：
- 沉浸式娱乐： 在 VR/AR 应用中，用户可以自由切换视角，增强沉浸感。
- 创意视频制作： 影视、短视频创作者可以利用该技术添加新视角效果，提升内容吸引力。
- 智能视频会议： 动态调整会议视角，聚焦特定区域或人员，提升交互性。
- 自动驾驶与机器人： 生成多视角驾驶或导航场景，用于训练和测试算法。
- 教育与培训： 创建多视角教学视频，帮助学生更好地理解和学习。
项目地址与体验
目前，TrajectoryCrafter 已经开源，并提供了项目官网、GitHub 仓库、arXiv 技术论文以及在线体验 Demo，方便开发者和研究人员进行学习和使用。
- 项目官网： https://trajectorycrafter.github.io/
- GitHub 仓库： https://github.com/TrajectoryCrafter/TrajectoryCrafter
- arXiv 技术论文： https://arxiv.org/pdf/2503.05638
- 在线体验 Demo： https://huggingface.co/spaces/Doubiiu/TrajectoryCrafter
结语
TrajectoryCrafter 的问世，无疑为视频创作领域注入了新的活力。这项技术不仅能够提升视频的视觉效果和表现力，还能够降低创作门槛，让更多人能够参与到视频创作中来。随着人工智能技术的不断发展，我们有理由相信，未来的视频创作将更加智能化、个性化，并为我们带来更加丰富多彩的视觉体验。
参考文献：
- TrajectoryCrafter 项目官网: https://trajectorycrafter.github.io/
- TrajectoryCrafter GitHub 仓库: https://github.com/TrajectoryCrafter/TrajectoryCrafter
- TrajectoryCrafter arXiv 技术论文: https://arxiv.org/pdf/2503.05638
- TrajectoryCrafter 在线体验 Demo: https://huggingface.co/spaces/Doubiiu/TrajectoryCrafter
Views: 5