新加坡，[日期] – 新加坡国立大学（NUS）近日推出了一款名为OmniConsistency的图像风格迁移模型，旨在解决复杂场景下风格化图像一致性问题。该模型基于大规模配对的风格化数据进行训练，采用两阶段训练策略，将风格学习与一致性学习解耦，从而在多种风格下保持图像的语义、结构和细节一致性。
在人工智能（AI）图像处理领域，风格迁移技术一直备受关注。它允许用户将一张图像的内容与另一张图像的风格相结合，创造出全新的视觉效果。然而，在处理复杂场景时，传统风格迁移模型往往难以保持图像的一致性，导致风格退化或内容失真。
OmniConsistency的出现，正是为了解决这一难题。该模型的核心优势在于其两阶段训练策略。第一阶段，模型独立训练多个风格特定的LoRA（Low-Rank Adaptation）模块，每个模块专注于捕捉特定风格的独特细节。第二阶段，模型在配对数据上训练一致性模块，动态切换不同的风格LoRA模块，确保一致性模块专注于结构和语义的一致性，避免吸收特定风格的特征。
OmniConsistency的主要功能包括：
- 风格一致性： 在多种风格下保持图像的风格一致性，避免风格退化。
- 内容一致性： 在风格化过程中保留原始图像的语义和细节，确保内容的完整性。
- 风格无关性： 与任意风格的LoRA模块无缝集成，支持多种风格的风格化任务。
- 灵活性： 支持灵活的布局控制，无需依赖传统的几何约束（如边缘图、草图、姿态图）。
技术原理方面，OmniConsistency采用了以下关键技术：
- 一致性LoRA模块： 在条件分支中引入低秩适应（LoRA）模块，仅对条件分支进行调整，避免干扰主网络的风格化能力。
- 条件令牌映射（CTM）： 低分辨率条件图像引导高分辨率生成，基于映射机制确保空间对齐，减少内存和计算开销。
- 特征重用： 在扩散过程中，缓存条件令牌的中间特征，避免重复计算，提高推理效率。
- 数据驱动的一致性学习： 构建高质量的配对数据集，包含22种不同风格的2,600对图像，基于数据驱动的方式学习语义和结构的一致性映射。
据新加坡国立大学研究团队介绍，OmniConsistency在实验中展现出与GPT-4o相当的性能，且提供更高的灵活性和泛化能力。该模型支持与任意风格的LoRA模块无缝集成，实现高效且灵活的风格化效果。
OmniConsistency的应用场景广泛，包括：
- 艺术创作： 将各种艺术风格应用于图像，帮助艺术家快速生成风格化的作品。
- 内容生成： 在内容创作中，快速生成符合特定风格的图像，提升内容的多样性和吸引力。
- 广告设计： 为广告和营销材料生成风格一致的图像，提升视觉效果和品牌一致性。
- 游戏开发： 快速生成游戏中的风格化角色和场景，提高开发效率。
- 虚拟现实（VR）和增强现实（AR）： 生成风格化的虚拟环境和元素，增强用户体验。
目前，OmniConsistency的项目地址已公开，包括GitHub仓库、HuggingFace模型库和arXiv技术论文。此外，研究团队还提供了在线体验Demo，供用户体验该模型的强大功能。
项目地址：
- GitHub仓库：https://github.com/showlab/OmniConsistency
- HuggingFace模型库：https://huggingface.co/showlab/OmniConsistency
- arXiv技术论文：https://arxiv.org/pdf/2505.18445
- 在线体验Demo：https://huggingface.co/spaces/yiren98/OmniConsistency
OmniConsistency的发布，标志着图像风格迁移技术在复杂场景应用方面取得了重要突破。未来，随着AI技术的不断发展，我们有理由相信，图像处理领域将涌现出更多创新性的解决方案，为艺术创作、内容生成、广告设计等领域带来更多可能性。
参考文献：
- Showlab. (2024). OmniConsistency: Consistent Generation for Image Stylization. arXiv preprint arXiv:2505.18445.
（完）
Views: 0