上海AI Lab发布RelightVid视频重照明模型

上海—— 在人工智能视频编辑领域，一项由上海AI Lab联合复旦大学、上海交通大学、浙江大学、斯坦福大学以及香港中文大学共同研发的视频重照明模型RelightVid，正引发业界广泛关注。这项技术突破有望为影视制作、游戏开发、增强现实等多个领域带来革命性的变革。

RelightVid的核心在于其时序一致性扩散模型，它能够根据文本提示、背景视频或HDR环境贴图，对输入视频进行细粒度和一致的场景编辑，从而实现全场景或前景保留的重照明效果。这意味着用户可以轻松改变视频的光照氛围，模拟不同天气或时间的场景，极大地丰富了视频创作的可能性。

技术原理：多模态融合与光照不变性

RelightVid的技术原理主要体现在以下几个方面：

扩散模型扩展： 该模型基于预训练的图像重照明扩散模型（如IC-Light），通过扩展架构支持视频输入，并引入时序层来捕捉帧间的时间依赖性，从而确保重照明的时序一致性。
多模态条件联合训练： RelightVid能够同时利用背景视频、文本提示和HDR环境贴图作为条件，通过编码器将这些条件嵌入到模型中，并基于交叉注意力机制实现协同编辑。
光照不变集成（Illumination-Invariant Ensemble, IIE）： 为了提高模型在不同光照条件下的鲁棒性，RelightVid采用了一种亮度增强输入视频并平均预测噪声的方法，从而有效防止反照率变化。
数据增强管道（LightAtlas）： 该模型还利用真实视频和3D渲染数据生成高质量的重照明数据对，为模型提供丰富的光照先验知识，增强其对复杂光照场景的适应能力。

应用场景：潜力无限

RelightVid的应用场景十分广泛，包括：

影视制作： 调整电影或电视剧中场景的光照效果，匹配不同的剧情需求或导演的创意构想，无需重新拍摄，大大降低了制作成本。
游戏开发： 在游戏中动态改变场景光照，增强游戏的沉浸感和视觉效果，适应不同的时间和天气条件，提升玩家体验。
增强现实（AR）： 在AR应用中实时调整虚拟元素的光照，使其与真实环境的光照一致，提升用户体验，让虚拟与现实更加融合。
视频广告与营销： 为广告视频快速生成多种光照风格，满足不同品牌或活动的宣传需求，提升视觉吸引力，提高广告效果。
视频内容创作： 帮助视频博主或内容创作者轻松改变视频的光照氛围，如模拟不同天气或时间的场景，丰富创作内容，吸引更多观众。

项目地址与体验

目前，RelightVid的项目地址已经公开，感兴趣的开发者和研究者可以通过以下链接获取更多信息：

项目官网： https://aleafy.github.io/relightvid/
GitHub仓库： https://github.com/Aleafy/RelightVid
arXiv技术论文： https://arxiv.org/pdf/2501.16330
在线体验Demo： https://huggingface.co/spaces/aleafy/RelightVid

结语

RelightVid的推出，标志着视频重照明技术进入了一个新的阶段。它不仅在保持时序一致性和照明细节方面具有显著优势，更为视频编辑和生成领域提供了新的可能性。随着技术的不断发展和完善，我们有理由相信，RelightVid将在未来的影视制作、游戏开发等领域发挥更加重要的作用，为用户带来更加丰富和精彩的视觉体验。

参考文献