摘要： NVIDIA与多伦多大学、向量研究所联合推出新型生成式视频模型GEN3C，该模型基于精确的相机控制和时空一致性，能够生成高质量的3D视频内容。GEN3C通过构建基于点云的3D缓存指导视频生成，支持从单视角到多视角的视频生成，并在稀疏视图的新型视图合成任务中取得了最先进的结果。这项技术为视频创作、模拟以及3D场景编辑开辟了新的可能性。
正文：
人工智能（AI）领域在图像和视频生成方面取得了显著进展，而NVIDIA与多伦多大学、向量研究所的合作成果——GEN3C，无疑是这一领域的又一里程碑。GEN3C（Generative 3D Consistent Cameras）是一种新型的生成式视频模型，旨在解决传统视频生成方法中因缺乏显式3D建模而导致的不一致性问题。该模型的核心优势在于其精确的相机控制和对时空一致性的高度重视，从而能够生成具有真实感和连贯性的3D视频内容。
GEN3C的技术原理：构建3D缓存，实现精确控制
GEN3C的技术原理围绕着构建一个基于点云的3D缓存展开。首先，通过输入图像或视频帧的深度估计反投影生成3D场景，形成一个时空一致的3D缓存。这个缓存作为视频生成的基础，提供了场景的显式3D结构。随后，根据用户提供的相机轨迹，将3D缓存渲染成2D视频。最后，利用预训练的视频扩散模型（如Stable Video Diffusion或Cosmos），将渲染的3D缓存作为条件输入，生成高质量的视频。模型通过优化扩散过程中的去噪目标，修复渲染中的瑕疵并填补缺失信息。
对于多视角输入，GEN3C采用基于最大池化的融合策略，将不同视角的信息聚合到视频生成模型中，从而生成一致的视频。在长视频生成方面，GEN3C将视频分为多个重叠的块，逐块生成，并更新3D缓存以保持视频的时空一致性。
GEN3C的主要功能：从单视角到多视角，支持3D编辑
GEN3C的主要功能包括：
- 精确的相机控制： 用户可以根据指定的相机轨迹生成视频，支持推拉镜头、旋转镜头等复杂的相机运动，并保持视频的时空一致性。
- 3D一致性视频生成： 能够生成具有真实感和一致性的视频，避免物体突然出现或消失等问题。
- 多视角和稀疏视角的新型视图合成： 支持从单视角、稀疏多视角到密集多视角的输入，生成高质量的新型视图视频。
- 3D编辑和场景操作： 用户可以通过修改3D点云（如删除或添加物体）来编辑场景，并生成相应的视频。
- 长视频生成： 支持生成长视频，同时保持时空一致性。
GEN3C的应用场景：潜力无限，覆盖多领域
GEN3C的应用场景非常广泛，包括：
- 单视角视频生成： 从一张图片生成动态视频，适用于快速内容创作。
- 新型视图合成： 从少量视角生成新视角视频，可应用于VR/AR和3D重建。
- 驾驶模拟： 生成驾驶场景的不同视角视频，助力自动驾驶训练。
- 动态视频重渲染： 为已有视频生成新视角，可用于视频编辑和二次创作。
- 3D场景编辑： 修改场景内容后生成新视频，助力影视制作和游戏开发。
结论：开启视频创作新篇章
GEN3C的发布标志着生成式视频模型领域取得了重要进展。通过精确的相机控制和对时空一致性的关注，GEN3C克服了传统方法的局限性，为用户提供了强大的3D视频创作工具。随着技术的不断发展和完善，GEN3C有望在影视制作、游戏开发、虚拟现实、自动驾驶等领域发挥更大的作用，开启视频创作的新篇章。
参考文献：
- GEN3C项目官网: https://research.nvidia.com/labs/toronto-ai/GEN3C/
- GEN3C GitHub仓库: https://github.com/nv-tlabs/GEN3C
- GEN3C arXiv技术论文: https://arxiv.org/pdf/2403.03751
Views: 0