北京 – 在人工智能领域，大型语言模型（LLM）一直是研究的热点。近日，中国人民大学高瓴AI学院李崇轩、文继荣教授团队与蚂蚁集团联合推出了一款名为LLaDA（Large Language Diffusion with mAsking）的新型大语言模型，该模型采用了扩散模型框架，而非传统的自回归模型（ARM），为LLM的发展带来了新的可能性。
LLaDA：扩散模型的新尝试
LLaDA的核心在于其基于扩散模型的框架。与ARM通过预测下一个词语来生成文本不同，LLaDA通过正向掩蔽过程和反向恢复过程来建模文本分布。简单来说，正向掩蔽过程逐渐遮蔽文本中的标记，而反向恢复过程则逐步恢复这些被遮蔽的标记。这种方式允许模型以非自回归的方式生成文本，打破了传统ARM的顺序生成限制。
该团队使用Transformer作为掩蔽预测器，输入部分掩蔽的文本序列，并预测所有被掩蔽的标记。这种架构使模型能够捕捉双向依赖关系，而不仅仅是单向的从左到右生成，从而提高了文本生成的质量。
技术细节与性能表现
LLaDA在预训练阶段使用了高达2.3万亿标记的数据，并通过监督微调（SFT）来提升其指令遵循能力。该模型支持多种采样策略，如随机掩蔽、低置信度掩蔽和半自回归掩蔽，从而在生成质量和效率之间取得平衡。
根据官方信息，LLaDA的8B参数版本在多项基准测试中表现出色，与LLaMA3等强模型相当。尤其值得一提的是，LLaDA在反转推理任务中解决了传统ARM的“反转诅咒”问题，展现了其独特的优势。
LLaDA的主要功能
LLaDA具备以下主要功能：
- 高效生成文本： 能够生成高质量、连贯的文本内容，适用于写作、对话、内容创作等场景。
- 强大的上下文学习能力： 能够根据上下文快速适应新任务。
- 指令遵循能力： 能够更好地理解和执行人类指令，适用于多轮对话、问答和任务执行等场景。
- 双向推理能力： 解决传统自回归模型的“反转诅咒”，在正向和反向推理任务中均表现出色，例如诗歌补全任务。
- 多领域适应性： 在语言理解、数学、编程、中文理解等多个领域表现出色，具有广泛的适用性。
应用场景展望
LLaDA的应用场景十分广泛，包括：
- 多轮对话： 用于智能客服、聊天机器人等，支持流畅的多轮交流。
- 文本生成： 适用于写作辅助、创意文案等，能生成高质量文本。
- 代码生成： 帮助开发者生成代码片段或修复错误，提升编程效率。
- 数学推理： 解决数学问题，提供解题步骤，可用于教育领域。
- 语言翻译： 实现多语言翻译，促进跨文化交流。
挑战与未来展望
尽管LLaDA展现了巨大的潜力，但作为一种新型的LLM，它仍然面临着一些挑战。例如，扩散模型在计算效率方面可能不如自回归模型，这需要在未来的研究中进一步优化。
不过，LLaDA的出现无疑为LLM的发展开辟了一条新的道路。它证明了扩散模型可以作为自回归模型的替代方案，并在某些方面展现出独特的优势。随着研究的深入和技术的不断进步，我们有理由相信，LLaDA将在未来的AI领域发挥越来越重要的作用。
项目地址
- 项目官网： https://ml-gsai.github.io/LLaDA
- GitHub仓库： https://github.com/ML-GSAI/LLaDA
- arXiv技术论文： https://arxiv.org/pdf/2502.09992
参考文献
- ML-GSAI. (n.d.). LLaDA. Retrieved from https://ml-gsai.github.io/LLaDA
- ML-GSAI. (n.d.). LLaDA [GitHub repository]. Retrieved from https://github.com/ML-GSAI/LLaDA
- ML-GSAI. (n.d.). LLaDA [arXiv paper]. Retrieved from https://arxiv.org/pdf/2502.09992
注： arXiv链接为虚构，请在实际引用时替换为真实链接。
Views: 0