Adobe推出AI视频分辨率提升模型VideoGigaGAN

Adobe 推出 AI 视频分辨率提升模型 VideoGigaGAN，将模糊视频变高清

Adobe 近日发布了一款名为 VideoGigaGAN 的 AI 视频分辨率提升模型，该模型能够将视频分辨率提升高达 8 倍，将模糊的视频放大为具有丰富细节和时间连贯性的高清视频。

VideoGigaGAN 由 Adobe 和马里兰大学的研究人员共同开发，基于此前大规模图像上采样器GigaGAN 的技术，并进行了创新性改进。该模型能够有效解决传统视频分辨率提升方法中存在的模糊和闪烁问题，显著提升视频上采样后的时间一致性和高频细节表现。

VideoGigaGAN 的主要功能特色包括：

高效视频超分辨率： 将标准或低分辨率视频内容转换为高分辨率格式，显著提升视频的清晰度和观赏性。
细节增强保持： 在提升分辨率的同时，保留视频的高频细节，如细小纹理和锐利边缘，避免传统放大方法中常见的模糊和失真现象。
帧间连贯性优化： 通过先进的技术手段，确保视频中连续帧之间的过渡平滑自然，有效避免了时间闪烁和不一致性问题，提供连贯的观影体验。
快速渲染能力： 能够在短时间内完成视频的超分辨率处理，适合需要快速转换或实时处理的应用场景。
高倍率视频放大： 支持高达8 倍的视频放大比例，为影像编辑和视觉效果制作等专业应用提供强有力的技术支持。
全面提升视频质量： 不仅提升分辨率，还改善视频的整体画质，包括色彩、对比度和细节层次，使得视频内容更加生动和真实。
生成高真实感视频： 利用强大的生成对抗网络架构，能够生成接近自然拍摄效果的高分辨率视频，满足高端视频制作的需求。

VideoGigaGAN 的技术原理：

基础架构： 建立在 GigaGAN 图像上采样器的基础上，GigaGAN 是一个大规模的生成对抗网络（GAN），能够对图像进行高质量的上采样。
时间模块扩展： 将 2D 图像模块扩展到 3D 时间模块，通过在解码器中添加时间卷积层和时间自注意力层，以处理视频序列。
流引导特征传播： 使用双向循环神经网络（RNN）和图像反变形层，基于光流信息对特征进行对齐和传播，提高视频帧之间的时间一致性。
抗锯齿处理： 在编码器的下采样层中使用了抗锯齿块（BlurPool），代替传统的步幅卷积，以减少别名效应，减少高频细节区域的时间闪烁。
高频特征穿梭（HF Shuttle）： 通过跳跃连接将高频特征直接传输到解码器层，补偿在上采样过程中可能丢失的高频细节。
损失函数： 在训练过程中，使用了包括标准 GAN 损失、R1 正则化、LPIPS 损失和 Charbonnier 损失在内的多种损失函数，以优化模型性能。

VideoGigaGAN 的发布意味着 AI 技术在视频处理领域的应用又迈进了一步。 该模型能够有效提升视频分辨率，并保持高频细节和时间连贯性，为视频制作、影像编辑、视觉效果制作等领域提供了新的技术支持。相信随着 AI 技术的不断发展，未来会有更多类似 VideoGigaGAN 的模型出现，为我们带来更加清晰、生动、真实的视频体验。

VideoGigaGAN 的官网入口：