北京 – 字节跳动近日发布了一款名为UNO的创新AI图像生成框架，旨在突破传统模型在多主体图像生成方面的局限性。该框架通过“少到多”的泛化方法，能够高质量地生成包含单主体和多主体的图像，有效解决了多主体场景下的一致性难题。
在人工智能图像生成领域，如何保证生成图像中多个主体之间的一致性和协调性一直是一个挑战。传统的AI模型在处理复杂的多主体场景时，往往难以避免出现主体特征模糊、姿态不协调等问题。UNO的出现，为解决这一难题提供了一种新的思路。
UNO的技术原理：高一致性与可控性的双重保障
UNO的核心技术在于其高一致性数据合成管道和渐进式跨模态对齐策略。
- 高一致性数据合成管道： UNO利用扩散变换器（Diffusion Transformers）的内在上下文生成能力，自动创建大规模、高质量的多主体配对训练数据。这解决了数据获取的难题，为模型的训练提供了充足的“燃料”。
- 渐进式跨模态对齐： UNO将训练过程分为两个阶段。第一阶段，使用单主体上下文生成的数据对预训练的文本到图像（T2I）模型进行微调，使其具备处理单主体驱动生成任务的能力。第二阶段，引入多主体数据继续训练，增强模型处理复杂场景的能力。这种逐步对齐的方式，使模型能更好地适应从单主体到多主体的生成任务。
- 通用旋转位置嵌入（UnoPE）： 为了解决在扩展视觉主体控制时的属性混淆问题，UNO引入了通用旋转位置嵌入（UnoPE）。UnoPE通过为文本和图像标记分配特定的位置索引，调控多模态标记之间的交互，使模型专注于从文本特征中获取布局信息，在保持良好文本可控性的同时，提高主体相似性。
UNO的主要功能与应用场景：潜力无限
UNO具备以下主要功能，并展现出广泛的应用前景：
- 单主体定制生成： 根据一张参考图像生成保持同一主体特征但处于不同场景、姿势或风格的图像。
- 多主体组合生成： 接收多个参考图像作为输入，生成包含所有参考主体的新图像。
- 虚拟试穿与产品展示： 支持虚拟试穿功能，可以将特定的产品（如服装、饰品等）放置在不同的人物模型上，展示其效果。可以将产品放置在各种场景中，保持产品的原始特征。
- 风格化生成： 对参考主体进行风格转换，生成不同风格的图像。
这些功能使得UNO在多个领域拥有广泛的应用潜力，例如：
- 电商领域： 用于虚拟试穿、产品展示，提升用户购物体验。
- 设计领域： 为设计师提供更灵活的设计思路，快速生成各种场景下的产品效果图。
- 游戏开发领域： 帮助开发者快速生成角色和场景，激发创意。
- 个性化内容生成领域： 根据用户提供的参考图像，生成个性化的艺术作品或社交媒体内容。
开放与合作：UNO的未来展望
UNO以开源模型 FLUX.1 dev 为基础，并采用了“模型-数据共同进化”的新范式，鼓励开发者参与到模型的改进和优化中来。字节跳动已经公开了UNO的项目地址，包括项目官网、Github仓库、HuggingFace模型以及arXiv技术论文，方便开发者进行研究和应用。
- 项目官网： https://bytedance.github.io/UNO/
- Github仓库： https://github.com/bytedance/UNO
- HuggingFace模型： https://huggingface.co/bytedance-research/UNO
- arXiv技术论文： https://arxiv.org/pdf/2504.02160
UNO的发布，不仅展示了字节跳动在人工智能领域的研发实力，也为AI图像生成技术的发展注入了新的活力。随着技术的不断进步和应用场景的不断拓展，UNO有望在未来为各行各业带来更多的创新和价值。
参考文献
- Bytedance. (2024). UNO: A Unified Generative Framework for Controllable Multi-Subject Image Generation. Retrieved from https://arxiv.org/pdf/2504.02160
- Bytedance Github. (2024). UNO. Retrieved from https://github.com/bytedance/UNO
- Bytedance HuggingFace. (2024). UNO. Retrieved from https://huggingface.co/bytedance-research/UNO
Views: 3