阿里通义重磅推出检索利器：MaskSearch框架登场

北京讯 – 阿里巴巴通义实验室近日发布了一款名为MaskSearch的全新通用预训练框架，旨在显著提升大型语言模型（LLM）的智能体搜索能力。这一创新框架通过引入检索增强掩码预测（RAMP）任务，并结合多智能体协同生成思维链数据，为LLM在复杂问答和信息检索领域带来了新的突破。

MaskSearch是什么？

MaskSearch的核心在于其独特的RAMP任务。借鉴BERT的掩码机制，MaskSearch在输入文本中对关键信息进行掩码处理，例如命名实体、日期、数字、本体知识等。随后，模型需要借助外部知识库和搜索工具，主动预测这些被掩盖的片段。这种方法不仅增加了任务难度，更促使模型在检索和推理过程中更加精细化地处理信息。

通义实验室的研究人员表示，MaskSearch的设计目标是让LLM能够像人类一样，在面对复杂问题时，主动调用外部知识，进行搜索和推理，从而获得更准确、更全面的答案。

技术原理：RAMP任务与多智能体协同

RAMP任务是MaskSearch的核心技术之一。与传统的掩码预测任务不同，RAMP任务不仅要求模型预测被掩盖的文本片段，更强调模型利用外部知识库进行检索和推理的能力。

为了生成高质量的监督微调（SFT）数据，MaskSearch还采用了多智能体协同机制。该系统包括规划者、重写者、观察者等角色，协同生成思维链数据，最终由一个LLM负责答案判断，仅保留正确答案的思维链。这种方法能够快速扩展数据集，并保持数据质量。

强化学习与课程学习：逐步提升模型能力

在强化学习方面，MaskSearch采用了动态采样策略优化（DAPO）算法，构建混合奖励系统，包括格式奖励和回答奖励。格式奖励用于检查模型输出是否符合指定格式，回答奖励则评估生成答案与标准答案的一致性。

此外，MaskSearch还引入了课程学习策略，依据掩码数量对训练样本进行难度分级，让模型从易到难依次学习，逐步提升能力。

应用场景：智能客服、教育、企业搜索

MaskSearch的应用前景十分广阔。在智能客服领域，它可以帮助客服系统更准确地理解用户问题，快速检索到相关的答案和信息，提高客服效率和用户满意度。在教育领域，MaskSearch可以用于构建智能辅导系统，帮助学生更好地理解和解决复杂的学术问题。对于企业级搜索系统，MaskSearch可以增强其检索能力，更准确地理解用户查询意图，从海量数据中快速检索到相关信息，提高企业决策效率。

此外，MaskSearch还可以用于机器学习模型的调试与优化。例如，在调试图像分类模型时，MaskSearch可以帮助用户通过掩码属性查询图像数据库，识别模型学习到的虚假相关性，探索模型显著性与人类注意力之间的差异。

项目地址与未来展望

目前，MaskSearch的项目代码和技术论文已在GitHub和arXiv上公开。研究人员表示，未来将继续优化MaskSearch框架，探索其在更多领域的应用，并期待与学术界和产业界共同推动LLM技术的发展。