AI视频重照明：上海AI Lab再出新作

上海，[日期] – 上海AI实验室联合上海交通大学、中国科学技术大学、香港中文大学、香港科技大学和斯坦福大学，共同推出了一项名为Light-A-Video的创新技术，该技术为视频重照明领域带来了突破。Light-A-Video是一种无需训练的视频重照明方法，它能够实现高质量、时间上一致的视频光照控制，为影视后期、游戏开发、视频创作等领域带来全新的可能性。

在传统视频制作中，光照调整往往需要耗费大量的时间和成本。而Light-A-Video的出现，有望改变这一现状。该方法基于渐进式光照融合技术，通过两个关键模块——一致光照注意力（Consistent Light Attention, CLA）和渐进式光照融合（Progressive Light Fusion, PLF），实现了对视频光照的精准控制。

技术原理：稳定光照与平滑过渡

CLA模块旨在稳定背景光照源的生成。它通过增强帧间交互，在图像重照明模型的自注意力层中引入跨帧信息，利用时间平均特征抑制光照的高频抖动，从而生成稳定的背景光照。CLA采用双流注意力融合策略，一条流处理原始帧信息以保留细节，另一条流基于时间平均处理以抑制抖动，最终通过加权平均融合两种流的输出。

PLF模块则利用视频扩散模型（VDM）的运动先验，逐步将重照明效果融入视频中。它基于线性融合的方式，将重照明的图像外观与原始视频外观结合，确保光照过渡的平滑性。PLF在视频扩散模型的去噪过程中逐步调整光照目标，基于动态调整融合权重，逐渐引导视频去噪方向，实现时间上一致的重照明效果。

主要功能与应用场景

Light-A-Video具备以下主要功能：

时间一致性： 通过增强帧间光照的一致性，避免视频闪烁和光照不连续的问题。
高质量重照明： 利用预训练的图像重照明模型，对视频中的每一帧进行光照调整，同时保持图像质量。
前景与背景分离处理： 支持对视频前景进行重照明，并自动生成与光照条件一致的背景。
零样本（Zero-shot）生成： 无需额外训练或优化，直接根据文本提示生成符合光照条件的视频。
兼容性强： 与多种流行的视频生成模型（如 AnimateDiff、CogVideoX 等）兼容，具有广泛的适用性。

这些功能使得Light-A-Video在多个领域具有广泛的应用前景：

影视后期： 快速调整光照条件，如白天变夜晚，显著节省成本和时间。
游戏开发： 动态改变场景光照，增强游戏的沉浸感。
视频创作： 快速改变视频风格，满足创意需求。
VR/AR： 实时调整光照，提升虚拟与现实的融合效果。
视频会议： 优化视频光照，改善远程协作体验。

项目信息

项目官网： https://bujiazi.github.io/light-a-video.github.io/
GitHub仓库： https://github.com/bcmi/Light-A-Video/
arXiv技术论文： https://arxiv.org/pdf/2502.08590

结语

Light-A-Video的推出，标志着视频重照明技术迈出了重要一步。其无需训练、高质量、时间一致的特性，将极大地简化视频制作流程，降低制作成本，并为创意表达提供更多可能性。随着AI技术的不断发展，我们有理由相信，Light-A-Video将在影视、游戏、VR/AR等领域发挥越来越重要的作用，为用户带来更加丰富和沉浸式的视觉体验。

参考文献