RelightVid：国产AI视频重照明技术亮相

上海讯 – 上海人工智能实验室（Shanghai AI Lab）联合复旦大学、上海交通大学、浙江大学、斯坦福大学以及香港中文大学，近日共同发布了一项突破性的视频重照明模型——RelightVid。该模型利用时序一致性扩散模型，为视频编辑和生成领域带来了全新的可能性，有望革新影视制作、游戏开发、增强现实以及视频内容创作等多个行业。

RelightVid：重塑视频光影的强大工具

RelightVid的核心在于其强大的视频重照明能力。它不仅能够根据文本提示、背景视频或HDR环境贴图对输入视频进行细粒度和一致的场景编辑，还支持全场景重照明和前景保留重照明，为用户提供了前所未有的光照控制灵活性。

主要功能亮点：

文本条件重照明： 用户可以通过简单的文本描述，例如“阳光透过树叶，形成斑驳光影”或“柔和的晨光，金色时刻”，来改变视频的光照效果。
背景视频条件重照明： 利用背景视频作为光照条件，动态调整前景对象的光照，使前景与背景光照和谐统一。
HDR环境贴图条件重照明： 通过HDR环境贴图精确控制光照，实现高质量的重照明效果，提升视频的真实感和艺术性。
全场景重照明与前景保留重照明： 用户可以选择对整个场景进行重照明，也可以选择只对前景进行重照明，保留背景原貌，满足不同的编辑需求。

技术原理：扩散模型与多模态融合

RelightVid的技术核心在于对扩散模型的创新性应用。该模型基于预训练的图像重照明扩散模型（如IC-Light），通过扩展架构支持视频输入，并引入时序层捕捉帧间的时间依赖性，从而确保重照明的时序一致性。

此外，RelightVid还采用了多模态条件联合训练的方法，能够同时利用背景视频、文本提示和HDR环境贴图作为条件，通过编码器将这些条件嵌入到模型中，并利用交叉注意力机制实现协同编辑。

为了提高模型在不同光照条件下的鲁棒性，RelightVid还采用了光照不变集成（Illumination-Invariant Ensemble, IIE）技术，通过亮度增强输入视频并平均预测噪声，有效防止反照率变化。

最后，RelightVid还采用了数据增强管道（LightAtlas），基于真实视频和3D渲染数据生成高质量的重照明数据对，为模型提供丰富的光照先验知识，增强其对复杂光照场景的适应能力。

应用前景广阔：赋能各行各业

RelightVid的发布，预示着视频编辑和生成领域即将迎来一场技术革新。其潜在应用场景十分广泛：

影视制作： 影视从业者可以利用RelightVid调整电影或电视剧中场景的光照效果，匹配不同的剧情需求或导演的创意构想，无需重新拍摄，大大节省了时间和成本。
游戏开发： 游戏开发者可以在游戏中动态改变场景光照，增强游戏的沉浸感和视觉效果，适应不同的时间和天气条件。
增强现实（AR）： 在AR应用中，RelightVid可以实时调整虚拟元素的光照，使其与真实环境的光照一致，从而提升用户体验。
视频广告与营销： 广告商可以利用RelightVid为广告视频快速生成多种光照风格，满足不同品牌或活动的宣传需求，提升视觉吸引力。
视频内容创作： 视频博主或内容创作者可以轻松改变视频的光照氛围，如模拟不同天气或时间的场景，丰富创作内容。

项目地址与体验：