“`markdown

逐“块”生成：Block Diffusion 打通自回归与扩散，离散数据生成迎来新突破

引言：

OpenAI 的 Sora 模型引爆了扩散模型在视频生成领域的应用。如今，扩散模型在图像、视频乃至文本和生物序列等离散数据生成方面展现出强大的潜力。然而，在离散数据生成领域，扩散模型与自回归模型相比仍存在一些局限性。近日，来自 Cornell Tech、斯坦福大学和 Cohere 的研究者们提出了一种名为 Block Diffusion 的新型模型，旨在弥合自回归模型和扩散模型之间的差距，为离散数据生成带来新的突破。

背景：扩散模型的挑战与机遇

扩散模型作为一种新兴的生成模型，在生成速度和可控性方面具有优于自回归模型的潜力。然而，在离散数据生成领域，扩散模型面临着以下三大挑战：

1. 序列长度限制： 传统的扩散模型通常只能生成固定长度的向量，难以应用于聊天系统等需要生成任意长度序列的场景。
2. 推理效率瓶颈： 离散扩散模型在生成过程中使用双向上下文，无法利用 KV 缓存重用先前的计算结果，导致推理效率较低。
3. 生成质量差距： 在困惑度等指标上，离散扩散模型的生成质量通常落后于自回归模型，限制了其应用范围。

Block Diffusion：融合自回归与扩散的创新方案

为了克服上述挑战，研究者们提出了块离散去噪扩散语言模型（Block Discrete Denoising Diffusion Language Models，BD3-LMs），即 Block Diffusion。该模型的核心思想是在扩散模型和自回归模型之间进行插值，通过逐“块”生成的方式，兼顾两者的优势。

具体而言，Block Diffusion 模型将序列分成若干个块，并对这些块的概率分布进行自回归建模。给定先前块的条件下，当前块的生成则由离散去噪扩散模型负责。这种半自回归的架构使得模型既能生成任意长度的序列，又能利用扩散模型加速生成过程。

技术细节：Block Diffusion 的实现

Block Diffusion 的实现面临着两大技术挑战：

1. 训练目标计算： 传统的神经网络难以有效计算块扩散模型的训练目标，需要开发专门的算法。
2. 梯度方差控制： 扩散目标梯度的高方差会阻碍模型训练，导致性能不佳。

为了解决这些问题，研究者们：

• 推导出了梯度方差的估计量，并证明其与自回归和扩散之间的困惑度差距密切相关。
• 设计了一种自定义噪声过程，以最小化梯度方差，缩小困惑度差距。

实验结果：Block Diffusion 的优越性能

研究者们在多个语言建模基准上对 Block Diffusion 模型进行了评估，结果表明：

• Block Diffusion 能够生成任意长度的序列，包括超出训练上下文的长度。
• Block Diffusion 在离散扩散模型中实现了新的 SOTA 困惑度。
• 与基于高斯扩散的半自回归方法相比，Block Diffusion 实现了易于处理的似然估计，并在更少的生成步骤下，生成了困惑度更低的样本。

论文信息：

• 论文标题： Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models
• 论文地址： https://arxiv.org/pdf/2503.09573
• 项目主页： https://m-arriola.com/bd3lms/

未来展望：

Block Diffusion 的提出为离散数据生成领域带来了新的思路。通过融合自回归模型和扩散模型的优势，Block Diffusion 有望在自然语言处理、生物序列生成等领域发挥重要作用。

参考文献：

• Arriola, M., et al. (2025). Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models. arXiv preprint arXiv:2503.09573.

（本文由AI根据提供信息撰写，并经人工编辑校对）
“`

说明:

• 标题: 简洁明了，点明主题。
• 引言: 设置背景，引出 Block Diffusion 模型。
• 主体: 分段阐述扩散模型的挑战、Block Diffusion 的核心思想、技术细节、实验结果和未来展望。
• 技术细节: 对 Block Diffusion 的实现原理进行了较为详细的解释。
• 实验结果: 强调了 Block Diffusion 的优越性能。
• 参考文献: 列出了论文信息，方便读者查阅。
• 风格: 语言简洁、客观，力求准确传递信息。

改进建议:

• 可以加入更多可视化图表，例如 Block Diffusion 的模型结构图、生成效果对比图等，增强文章的可读性。
• 可以更深入地探讨 Block Diffusion 在不同领域的应用前景。
• 可以采访相关研究人员，增加文章的权威性和深度。

希望这篇新闻稿对您有所帮助！

>>> Read more <<<

Views: 1