摘要： 大语言模型（LLM）的成功很大程度上归功于自回归（AR）范式的“next-token prediction”机制。然而，当这一黄金法则应用于视觉生成领域时，却面临诸多挑战。华为盘古多模态生成团队推出Selftok技术，通过反向扩散过程将自回归先验融入视觉token，使像素流转化为严格遵循因果律的离散序列，为视觉领域的自回归生成带来了新的突破。
引言：语言模型的辉煌与视觉领域的困境
近年来，以GPT系列为代表的大语言模型在自然语言处理领域取得了举世瞩目的成就。这些模型的核心在于自回归（AR）范式，通过将语言转化为离散的token，并预测下一个token，实现了对复杂语言现象的有效建模。从GPT-3到GPT-4o，“next-token prediction”的简单粗暴的因果建模方式，横扫了语言领域，展现了强大的生成能力和理解能力。
然而，当我们将目光转向视觉生成领域时，却发现这条黄金定律似乎失效了。尽管研究人员尝试将自回归架构应用于图像生成，但现有的方案往往是将图像网格化为空间token，然后强行塞入自回归架构。这种做法类似于NLP早期用CNN建模语言的弯路，视觉表达被空间局部性束缚，因果链被切割得支离破碎，难以真正拥抱AR的本质。
这种困境引发了人们的思考：视觉领域能否复刻LLM的成功？如果可以，又该如何突破现有方案的局限性？
现有视觉自回归方案的局限性
现有视觉自回归方案的局限性主要体现在以下几个方面：
- 空间局部性束缚： 将图像网格化为空间token，忽略了像素之间的长程依赖关系。图像中的一个像素可能受到图像中其他位置像素的影响，而简单的网格化无法捕捉到这种全局信息。
- 因果链断裂： 自回归模型强调因果关系，即下一个token的生成依赖于之前的token。然而，在图像网格化后，像素之间的因果关系被割裂，导致模型难以学习到图像的整体结构和语义信息。
- 缺乏有效的token化机制： 语言模型中的token化是将文本转化为离散的、有意义的单元。而现有的图像token化方法往往是简单的像素或图像块的划分，缺乏对图像语义信息的有效编码。
- 计算复杂度高： 直接对高分辨率图像进行自回归建模，计算复杂度非常高，难以应用于实际场景。
这些局限性导致现有的视觉自回归方案在生成图像的质量、多样性和一致性方面表现不佳。
华为Selftok：让图像学会“说AR的语言”
为了解决上述问题，华为盘古多模态生成团队提出了Selftok技术，旨在让图像学会“说AR的语言”。该团队认为，视觉要想复刻LLM的成功，必须彻底重构token化范式。
Selftok的核心思想是通过反向扩散过程将自回归先验融入视觉token，使像素流转化为严格遵循因果律的离散序列。具体来说，Selftok包含以下几个关键步骤：
- 反向扩散过程： Selftok首先使用一个扩散模型将图像逐步转化为噪声。扩散模型是一种生成模型，通过逐步添加噪声将数据转化为噪声，然后学习如何从噪声中恢复数据。
- 自回归先验注入： 在反向扩散过程中，Selftok将自回归先验注入到噪声中。自回归先验是指模型对图像中像素之间因果关系的理解。通过将自回归先验注入到噪声中，Selftok可以引导扩散模型生成具有自回归特性的图像。
- 离散token化： 在反向扩散过程的最后阶段，Selftok将噪声转化为离散的token。这些token代表了图像的语义信息，并且遵循严格的因果律。
- 自回归生成： 获得离散token后，Selftok可以使用自回归模型来生成新的图像。自回归模型通过预测下一个token来逐步生成图像，从而保证了图像的连贯性和一致性。
通过以上步骤，Selftok成功地将自回归范式应用于视觉生成领域，实现了像素的自主推理。
Selftok的技术优势
Selftok相比于现有视觉自回归方案，具有以下技术优势：
- 全局信息建模： Selftok通过反向扩散过程，可以捕捉到图像中的全局信息，克服了空间局部性束缚。
- 因果关系保持： Selftok通过将自回归先验注入到扩散过程中，保证了像素之间的因果关系，从而生成具有连贯性和一致性的图像。
- 有效的token化机制： Selftok通过反向扩散过程，将图像转化为离散的、有意义的token，实现了对图像语义信息的有效编码。
- 可扩展性强： Selftok可以应用于各种图像生成任务，并且可以与其他生成模型相结合，具有很强的可扩展性。
Selftok的实验结果
华为盘古多模态生成团队在多个图像生成任务上对Selftok进行了评估，实验结果表明，Selftok在图像质量、多样性和一致性方面均优于现有方案。
例如，在图像修复任务中，Selftok可以生成与周围区域无缝衔接的图像，并且可以保持图像的整体结构和语义信息。在图像超分辨率任务中，Selftok可以生成清晰、逼真的高分辨率图像，并且可以恢复图像的细节信息。在图像生成任务中，Selftok可以生成多样化的、具有艺术风格的图像。
这些实验结果充分证明了Selftok在视觉生成领域的潜力。
Selftok的潜在应用
Selftok作为一种新的视觉生成技术，具有广泛的潜在应用：
- 图像编辑： Selftok可以用于图像修复、图像超分辨率、图像着色等图像编辑任务，提高图像的质量和美观度。
- 内容创作： Selftok可以用于生成各种类型的图像内容，例如艺术作品、游戏素材、广告图片等，提高内容创作的效率和质量。
- 虚拟现实： Selftok可以用于生成虚拟现实场景，提供更加逼真、沉浸式的虚拟现实体验。
- 科学研究： Selftok可以用于生成科学可视化图像，帮助科学家更好地理解和分析数据。
Selftok面临的挑战
尽管Selftok具有诸多优势，但仍然面临一些挑战：
- 计算资源需求： Selftok的训练和推理需要大量的计算资源，需要进一步优化算法和硬件加速。
- 可控性： 如何更好地控制Selftok生成的图像内容，例如指定图像的风格、主题和细节，仍然是一个挑战。
- 泛化能力： 如何提高Selftok在不同数据集和任务上的泛化能力，需要进一步研究。
结论与展望
华为盘古多模态生成团队提出的Selftok技术，通过反向扩散过程将自回归先验融入视觉token，使像素流转化为严格遵循因果律的离散序列，为视觉领域的自回归生成带来了新的突破。Selftok在图像质量、多样性和一致性方面均优于现有方案，并且具有广泛的潜在应用。
未来，随着计算资源的不断提升和算法的不断优化，Selftok有望在视觉生成领域发挥更大的作用，推动人工智能技术的发展。我们期待Selftok能够在图像编辑、内容创作、虚拟现实、科学研究等领域取得更多的应用成果，为人们的生活带来更多的便利和乐趣。
同时，我们也需要关注Selftok面临的挑战，并积极探索解决方案，例如优化算法、提高可控性和泛化能力。只有不断创新和突破，才能使Selftok在视觉生成领域保持领先地位，并为人工智能技术的发展做出更大的贡献。
参考文献：
- ArXiv 链接：https://arxiv.org/abs/2505.07538
- Github链接: ht (由于信息不完整，此处无法提供完整的Github链接)
- 机器之心文章库 | 机器之心
致谢：
感谢华为盘古多模态生成团队为本文提供的技术支持和信息。
Views: 1