阿里通义发布MaskSearch：检索增强AI新突破

摘要： 阿里巴巴通义实验室近日发布了一款名为 MaskSearch 的新型通用预训练框架，旨在显著提升大型语言模型（LLM）的智能体搜索能力。该框架通过引入检索增强掩码预测（RAMP）任务和多智能体协同生成思维链（CoT）数据等创新技术，有效提升了LLM在开放域问答、智能客服、教育辅导等多个领域的性能表现。

北京 – 在人工智能领域，大型语言模型（LLM）正以前所未有的速度发展，并在各个行业展现出巨大的潜力。然而，如何进一步提升LLM的理解能力、推理能力和知识获取能力，仍然是研究人员面临的重要挑战。近日，阿里巴巴通义实验室推出了一款名为 MaskSearch 的新型通用预训练框架，为解决这些挑战提供了一种新的思路。

MaskSearch 的核心在于其提出的检索增强掩码预测（RAMP）任务。类似于 BERT 的掩码机制，RAMP 任务要求模型在输入文本中对关键信息进行掩码处理，然后借助外部知识库和搜索工具来预测这些被掩盖的文本片段。与 BERT 不同的是，RAMP 任务不仅关注常见的命名实体、日期和数字，还考虑了本体知识、特定术语和数值等关键信息，从而增加了任务的难度，并促使模型在检索和推理过程中更加精细化地处理信息。

“RAMP 任务的设计灵感来源于人类在解决复杂问题时的信息检索行为，”通义实验室的研究人员表示，“当我们遇到不熟悉的知识时，通常会通过搜索引擎或知识库来获取相关信息。MaskSearch 旨在模拟这一过程，让模型具备主动检索和利用外部知识的能力。”

为了进一步提升模型的性能，MaskSearch 还采用了多智能体协同生成思维链（CoT）数据的策略。该策略通过构建一个包含规划者、重写者、观察者等角色的多智能体系统，协同进行思维链的生成任务。最终，由一个 LLM 负责答案判断，并仅保留正确答案的思维链。这种方法不仅可以快速扩展数据集，还能保证数据的高质量。

在训练方法上，MaskSearch 兼容监督微调（SFT）和强化学习（RL）两种策略。在强化学习部分，MaskSearch 采用了动态采样策略优化（DAPO）算法，构建混合奖励系统，包括格式奖励和回答奖励。此外，MaskSearch 还引入了课程学习策略，依据掩码数量对训练样本进行难度分级，让模型从易到难依次学习，逐步提升能力。

MaskSearch 的主要功能和应用场景：

提升问答性能： 显著增强LLM在开放域多跳问答场景中的性能，特别是在领域内和领域外下游任务上，提升模型对复杂问题的理解和回答能力。
适应多种任务： 通过RAMP任务和多智能体生成的思维链数据，模型能够更好地适应多种问答任务，提升在不同场景下的表现。
多种训练方法兼容： 兼容SFT和RL两种训练方法，可以根据不同的任务需求选择合适的训练策略。
数据集扩展： 通过构建大规模预训练数据集（如1000万样本），提升模型的训练效果和可扩展性。

基于以上特性，MaskSearch 在多个领域具有广阔的应用前景：

智能客服： 帮助客服系统更准确地理解用户问题，快速检索到相关的答案和信息，提高客服效率和用户满意度。
教育领域： 用于构建智能辅导系统，帮助学生更好地理解和解决复杂的学术问题，提供个性化的学习支持。
企业级搜索系统： 增强企业搜索系统的检索能力，更准确地理解用户查询意图，从海量数据中快速检索到相关信息，提高企业决策效率。
机器学习模型的调试与优化： 帮助用户通过掩码属性查询图像数据库，识别模型学习到的虚假相关性，探索模型显著性与人类注意力之间的差异。

目前，MaskSearch 的相关代码和技术论文已在 GitHub 和 arXiv 上开源发布，供研究人员和开发者学习和使用。

项目地址：

Github仓库：https://github.com/Alibaba-NLP/MaskSearch
arXiv技术论文：https://arxiv.org/pdf/2505.20285

结论：

MaskSearch 的推出，标志着阿里巴巴在提升 LLM 智能体搜索能力方面迈出了重要一步。通过创新的 RAMP 任务和多智能体协同生成思维链数据等技术，MaskSearch 有望显著提升 LLM 在多个领域的性能表现，并为未来的 LLM 研究和应用提供新的思路。随着人工智能技术的不断发展，我们有理由期待 MaskSearch 在未来能够发挥更大的作用，为人类带来更多的便利和价值。

参考文献：

Alibaba-NLP. (2024). MaskSearch: Retrieval Augmented Masked Prediction for Language Model Pre-training. arXiv preprint arXiv:2505.20285.
GitHub Repository: https://github.com/Alibaba-NLP/MaskSearch

>>> Read more <<<