近年来，大型语言模型（LLMs）在多模态任务中取得了令人瞩目的进展，它们在理解和生成这两大人工通用智能（AGI）的核心支柱上展现出了强大的潜力。然而，当前主流的多模态大模型架构，如自回归（Autoregressive, AR）模型，在推理灵活性方面存在一定的局限性。另一方面，基于掩码的离散扩散模型虽然凭借双向建模能力崭露头角，但其通用性仍有提升空间。
近日，香港大学计算机系二年级博士生王劲及其导师罗平教授团队，在多模态大模型领域取得了一项突破性进展。他们提出了一种全新的生成建模范式——纯Discrete Flow Matching（DFM），并基于此构建了首个纯DFM架构的多模态巨型模型。该模型不仅克服了自回归模型推理灵活性不足的缺点，还展现出比离散扩散模型更强的通用性，为多模态大模型的发展开辟了一条新的道路。
多模态大模型的现状与挑战
多模态大模型旨在处理和生成多种模态的数据，例如文本、图像、音频和视频等。这些模型在图像描述、视觉问答、文本生成图像等任务中表现出色，为人工智能的应用带来了无限可能。
目前，主流的多模态大模型主要采用以下两种架构：
-
自回归（AR）模型： 这类模型通过从左到右逐个生成 token 来完成任务。例如，GPT-3 和 LLaMA 等大型语言模型都属于自回归模型。在多模态任务中，自回归模型通常将不同模态的数据转换为 token 序列，然后按照顺序进行处理和生成。然而，自回归模型的推理过程是固定的，缺乏灵活性。例如，在图像描述任务中，自回归模型只能按照固定的顺序生成描述文本，无法根据图像的特定区域或特征进行灵活调整。
-
离散扩散模型： 这类模型通过逐步添加噪声到数据中，然后再逐步去除噪声来生成数据。例如，DeepMind 的 Gemini Diffusion 和开源社区的 LLaDA 等模型都属于离散扩散模型。在多模态任务中，离散扩散模型通常将不同模态的数据转换为离散表示，然后通过扩散和逆扩散过程进行处理和生成。离散扩散模型具有双向建模能力，可以更好地捕捉不同模态数据之间的依赖关系。然而，离散扩散模型的训练和推理过程相对复杂，计算成本较高，并且在某些特定任务上的表现可能不如自回归模型。
尽管自回归模型和离散扩散模型在多模态任务中都取得了显著进展，但它们仍然存在一些局限性。自回归模型缺乏推理灵活性，而离散扩散模型的通用性仍有提升空间。因此，探索新的生成建模范式对于推动多模态模型的发展至关重要。
Discrete Flow Matching：一种新的生成建模范式
Flow Matching 是一种新兴的生成建模技术，它通过学习一个向量场，将数据空间中的任意一点映射到目标分布中的一点。与传统的生成模型相比，Flow Matching 具有以下优点：
- 训练稳定： Flow Matching 的训练过程更加稳定，不易出现梯度消失或爆炸等问题。
- 生成速度快： Flow Matching 的生成速度通常比 GAN 等生成模型更快。
- 可控性强： Flow Matching 可以通过调整向量场来控制生成结果。
王劲及其团队将 Flow Matching 扩展到离散数据领域，提出了 Discrete Flow Matching（DFM）。DFM 的核心思想是将离散数据嵌入到一个连续空间中，然后学习一个向量场，将嵌入空间中的任意一点映射到目标分布中的一点。
与传统的 Flow Matching 相比，DFM 具有以下特点：
- 适用于离散数据： DFM 可以直接处理离散数据，无需进行额外的转换。
- 建模能力强： DFM 可以捕捉离散数据之间的复杂依赖关系。
- 通用性高： DFM 可以应用于各种离散数据生成任务，例如文本生成、图像生成和音频生成等。
首个纯DFM架构的多模态巨型模型
基于 DFM，王劲及其团队构建了首个纯 DFM 架构的多模态巨型模型。该模型采用了 Transformer 架构，并将其中的自注意力机制替换为 DFM 模块。DFM 模块负责学习不同模态数据之间的向量场，从而实现多模态数据的融合和生成。
该模型的训练过程分为两个阶段：
- 预训练阶段： 在大规模多模态数据集上预训练 DFM 模块，使其能够捕捉不同模态数据之间的基本依赖关系。
- 微调阶段： 在特定任务的数据集上微调整个模型，使其能够适应特定任务的要求。
实验结果表明，该模型在多个多模态任务上取得了显著的性能提升，包括图像描述、视觉问答和文本生成图像等。与传统的自回归模型和离散扩散模型相比，该模型具有以下优势：
- 推理灵活性高： DFM 模块可以根据输入数据的不同进行灵活调整，从而实现更灵活的推理过程。
- 通用性强： 该模型可以应用于各种多模态任务，无需进行额外的修改。
- 生成质量高： 该模型生成的图像和文本质量更高，更符合人类的审美标准。
DFM的优势与潜力
纯Discrete Flow Matching多模态巨兽的降临，标志着多模态大模型领域取得了一项重要的突破。DFM 作为一种新的生成建模范式，具有以下优势和潜力：
-
更灵活的推理能力： 相比于自回归模型，DFM 能够根据输入数据的不同，动态调整生成过程，实现更灵活的推理。这对于需要根据上下文信息进行调整的多模态任务至关重要。例如，在视觉问答任务中，DFM 可以根据问题的不同，重点关注图像的不同区域，从而生成更准确的答案。
-
更强的通用性： 相比于离散扩散模型，DFM 可以应用于更广泛的多模态任务，无需针对特定任务进行定制。这大大降低了模型开发的成本，并提高了模型的适用性。例如，DFM 可以同时应用于图像描述、文本生成图像和视频生成等任务。
-
更高的生成质量： DFM 通过学习数据分布的向量场，能够生成更逼真、更自然的图像和文本。这对于需要高质量生成结果的应用场景至关重要。例如，在虚拟现实和游戏开发中，DFM 可以用于生成高质量的虚拟场景和角色。
-
更高效的训练和推理： 相比于离散扩散模型，DFM 的训练和推理过程更加高效，计算成本更低。这使得 DFM 更容易应用于资源受限的场景。例如，在移动设备上，DFM 可以用于实时生成图像和文本。
未来展望
王劲及其团队的工作为多模态大模型的发展开辟了一条新的道路。未来，DFM 有望在以下方面取得更大的进展：
- 更大的模型规模： 随着计算资源的不断提升，可以训练更大规模的 DFM 模型，从而进一步提高模型的性能。
- 更强的模态融合能力： 可以探索更有效的模态融合方法，使 DFM 能够更好地捕捉不同模态数据之间的复杂依赖关系。
- 更广泛的应用场景： 可以将 DFM 应用于更广泛的多模态任务，例如自动驾驶、医疗诊断和智能客服等。
王劲表示，他们将继续深入研究 DFM，并将其应用于更多的多模态任务中，为人工智能的发展做出更大的贡献。
结语
纯Discrete Flow Matching多模态巨兽的降临，是多模态大模型领域的一项重要里程碑。它不仅展示了 DFM 作为一种新的生成建模范式的巨大潜力，也为未来的多模态模型研究指明了方向。随着 DFM 技术的不断发展和完善，我们有理由相信，它将在人工智能领域发挥越来越重要的作用，为人类带来更多的便利和惊喜。
参考文献：
由于该新闻报道基于当前研究进展和技术趋势，没有直接引用的特定论文或书籍。如果后续有相关论文发表，可以补充参考文献。
致谢：
感谢香港大学罗平教授团队在多模态大模型研究方面的贡献。
Views: 0