字节跳动发布Mogao，多模态AI新突破

北京 – 在人工智能领域日新月异的今天，字节跳动 Seed 团队重磅推出 Mogao，一款交错多模态生成全基础模型，为 AI 内容创作注入了新的活力。这款创新架构融合了双视觉编码器、变分自编码器（VAE）、视觉变换器（ViT）以及交错旋转位置嵌入（IL-RoPE）等先进技术，旨在实现高质量的多模态理解与生成，解决以往图像生成中中文文本渲染难题，并为智能助手、虚拟现实、医疗影像分析等领域带来革新。

Mogao 的核心优势：

多模态理解与生成： Mogao 能够无缝处理文本和图像的交错序列，实现高质量的多模态理解和生成。这意味着，它既可以根据文本描述生成高质量的图像，也可以根据图像生成相关的文本内容，为内容创作提供了极大的灵活性。
零样本图像编辑与组合生成： Mogao 展现出强大的零样本图像编辑能力，无需额外训练即可对图像进行编辑和修改。更令人兴奋的是，它还具备组合生成能力，可以将不同的元素组合在一起生成新的图像，并保持高度的一致性和连贯性。
高质量图像生成： Mogao 在图像生成方面表现出色，尤其在真实感、图形设计、动漫、插图等多个风格分类上表现优异。它支持最高 2K 分辨率的图像生成，能够呈现出高细节和高质量的图像，满足用户对视觉效果的极致追求。
文本渲染能力： 长期以来，图像生成中的中文文本渲染一直是业界难题。Mogao 在此方面取得了显著突破，文本可用率高达 94%，有效解决了以往图像生成中中文字渲染难题，为中文内容创作提供了有力支持。

技术原理剖析：

Mogao 的成功并非偶然，而是得益于其背后一系列精巧的技术设计：

双视觉编码器： Mogao 使用 VAE 和 ViT 作为视觉编码器，能够同时提取图像的 VAE 和 ViT 特征，并将它们附加到历史序列中。这种设计使得模型能够更全面地理解图像内容。
深度融合架构： 基于预训练的大语言模型（LLM），Mogao 使用统一的自注意力层同时处理视觉和文本序列，并在前馈网络（FFN）中使用不同的多层感知机（MLP）来分别处理视觉和文本模态。这种深度融合架构使得模型能够更好地理解和生成多模态内容。
交错旋转位置嵌入（IL-RoPE）： IL-RoPE 用于捕捉图像的二维空间位置信息和多模态数据的时间位置关系，使得模型能够更好地处理交错的文本和图像序列。
混合分辨率训练： Mogao 在不同宽高比和分辨率的图像上进行预训练和微调，从低分辨率（如 256²）到高分辨率（如 2048²），并引入尺寸嵌入使模型能够感知目标分辨率。这种训练方式使得模型能够生成更高质量的图像。
跨模态 RoPE： 通过将文本 token 视为二维 token 并应用二维 RoPE，Mogao 进一步增强了视觉和文本 token 的对齐效果。
后训练阶段： Mogao 的后训练阶段包括持续训练（CT）、监督微调（SFT）、人工反馈对齐（RLHF）和提示工程（PE），旨在提升模型的性能和可控性。
缺陷感知型训练范式： Mogao 引入了缺陷检测器，精确定位缺陷区域，并通过掩码隐含空间优化，有效扩展了训练数据集。
Hyper-SD 和 RayFlow： 通过优化生成路径，引导每个数据点至特定实例的目标分布，Mogao 减少了路径碰撞，提高了生成稳定性和样本多样性。
重要性采样机制： Mogao 学习在训练过程中关注最关键的时间步，支持高效的少步数采样，且不影响生成质量。

广泛的应用场景：

Mogao 的强大功能使其在多个领域具有广泛的应用前景：

内容创作： 根据文本描述生成高质量的图像，或根据图像生成相关的文本描述，为内容创作者提供无限可能。
智能助手： 结合语音、图像和文本等多种模态，实现更自然、更智能的人机交互，提升用户体验。
图像和文本的相互检索： 用户可以通过输入文本描述来查找相关的图像，或者通过上传图像来获取相关的文本描述，极大地提升了信息检索的效率。
虚拟现实与增强现实： 用于生成虚拟环境和互动元素，提升虚拟现实和增强现实的用户体验，创造更加沉浸式的体验。
医疗影像分析： 将不同模态的医疗影像（如 MRI、CT、超声波等）与文本描述相结合，提高疾病诊断的准确性和早期发现能力，为医疗领域带来福音。

结论：

字节跳动 Seed 团队推出的 Mogao，凭借其创新的架构和强大的功能，为多模态理解与生成领域带来了新的突破。它不仅为 AI 内容创作提供了强大的工具，也为智能助手、虚拟现实、医疗影像分析等领域带来了革新的可能性。随着 Mogao 的不断发展和完善，我们有理由相信，它将在人工智能领域发挥越来越重要的作用，并为人类社会带来更多的价值。

参考文献：