北京时间2024年5月16日 – 在大型语言模型（LLM）领域，如何让模型能够实时获取并内化与时俱进的知识，一直是研究人员面临的重大挑战。近日，华为诺亚方舟实验室的研究团队发布了 Pangu DeepDiver 模型，该模型通过创新的 Search Intensity Scaling 方法，实现了 LLM 搜索引擎自主交互的全新范式。令人瞩目的是，Pangu DeepDiver 的 7B 版本在开域信息获取能力上，可以媲美拥有百倍参数的 DeepSeek-R1，并优于 DeepResearcher、R1-Searcher 等业界同期的研究成果。
这一突破性的进展，无疑为 LLM 在知识密集型任务中的应用开辟了新的道路，也为解决 LLM 知识更新滞后、幻觉等问题提供了新的思路。
背景：LLM 知识获取的挑战与机遇
近年来，大型语言模型在自然语言处理领域取得了显著的进展，展现出了强大的文本生成、理解和推理能力。然而，LLM 的知识主要来源于预训练阶段所接触的大量文本数据，这使得模型在面对快速变化的现实世界时，往往难以获取最新的信息，从而导致知识更新滞后、产生幻觉等问题。
为了解决这一问题，研究人员提出了多种方法，例如：
- 持续学习（Continual Learning）： 通过不断地用新的数据对模型进行微调，使其能够适应新的知识。
- 检索增强生成（Retrieval-Augmented Generation, RAG）： 在生成文本之前，先从外部知识库中检索相关信息，然后将检索到的信息与模型自身的知识相结合，生成更准确、更全面的文本。
- Agentic LLM： 将 LLM 作为智能体，使其能够自主地与外部环境进行交互，例如使用搜索引擎、访问网站等，从而获取所需的知识。
其中，Agentic LLM 被认为是解决 LLM 知识获取问题的一种极具潜力的方案。通过赋予 LLM 自主探索和学习的能力，可以使其能够更好地适应复杂多变的环境，并获取最新的信息。
Pangu DeepDiver：Search Intensity Scaling 的创新实践
华为诺亚方舟实验室提出的 Pangu DeepDiver 模型，正是 Agentic LLM 领域的一项重要创新。该模型的核心在于 Search Intensity Scaling 方法，该方法旨在让 LLM 能够根据任务的复杂程度，自主地调整搜索的强度和策略。
具体而言，Pangu DeepDiver 模型通过以下几个关键步骤实现 Search Intensity Scaling：
- 任务理解： 首先，模型需要理解当前的任务，并判断任务的复杂程度和所需知识的类型。
- 搜索策略规划： 接下来，模型根据任务的复杂程度，制定相应的搜索策略。对于简单的任务，模型可能只需要进行一次简单的搜索；而对于复杂的任务，模型可能需要进行多次迭代搜索，并结合不同的搜索工具和策略。
- 信息检索： 模型根据制定的搜索策略，使用搜索引擎等工具从互联网上检索相关信息。
- 信息整合： 模型将检索到的信息进行整合和筛选，去除冗余和噪声信息，提取出与任务相关的关键信息。
- 知识融合： 模型将提取出的关键信息与自身已有的知识进行融合，从而更新自身的知识库。
- 任务完成： 最后，模型利用更新后的知识库，完成当前的任务。
通过以上步骤，Pangu DeepDiver 模型能够自主地调整搜索的强度和策略，从而更好地适应不同复杂程度的任务。
技术细节：端到端 Agentic RL 训练与真实互联网搜索 API
Pangu DeepDiver 模型在技术实现上，主要采用了以下两种方法：
- 端到端 Agentic RL 训练： 研究团队采用了端到端的 Agentic 强化学习（RL）训练方法，使得模型能够更好地学习如何自主地进行搜索和信息获取。相比于直接蒸馏老师轨迹，端到端 Agentic RL 训练能够更好地实现 Search Intensity Scaling，从而带来平均 10% 的效果提升。
- 基于真实互联网搜索 API 和数据集进行训练： 为了使模型能够更好地适应真实世界的环境，研究团队基于真实的互联网搜索 API 和数据集进行训练。相比于基于 Wikipedia 等静态知识库进行训练，这种方法能够使模型更好地学习如何使用搜索引擎，并获取最新的信息。
通过以上两种技术手段，Pangu DeepDiver 模型能够更好地适应真实世界的环境，并获取最新的信息。
实验结果：7B 模型媲美百倍参数
为了验证 Pangu DeepDiver 模型的有效性，研究团队进行了一系列的实验。实验结果表明，Pangu DeepDiver 的 7B 版本在开域信息获取能力上，可以媲美拥有百倍参数的 DeepSeek-R1，并优于 DeepResearcher、R1-Searcher 等业界同期的研究成果。
具体而言，Pangu DeepDiver 模型在以下几个方面表现出色：
- 准确性： Pangu DeepDiver 模型能够更准确地获取与任务相关的信息，从而提高任务完成的准确性。
- 效率： Pangu DeepDiver 模型能够更高效地进行搜索和信息获取，从而缩短任务完成的时间。
- 泛化性： Pangu DeepDiver 模型能够更好地适应不同类型的任务，展现出更强的泛化能力。
这些实验结果充分证明了 Pangu DeepDiver 模型的有效性和优越性。
意义与影响：开辟 LLM 应用新方向
Pangu DeepDiver 模型的发布，具有重要的意义和影响：
- 为 LLM 在知识密集型任务中的应用开辟了新的道路： Pangu DeepDiver 模型通过创新的 Search Intensity Scaling 方法，使得 LLM 能够更好地获取和利用外部知识，从而更好地完成知识密集型任务。
- 为解决 LLM 知识更新滞后、幻觉等问题提供了新的思路： Pangu DeepDiver 模型通过自主地与外部环境进行交互，可以及时获取最新的信息，从而有效缓解知识更新滞后、幻觉等问题。
- 推动了 Agentic LLM 领域的发展： Pangu DeepDiver 模型是 Agentic LLM 领域的一项重要创新，为该领域的研究提供了新的思路和方法。
- 降低了 LLM 应用的门槛： Pangu DeepDiver 模型在 7B 参数规模下即可达到媲美百倍参数模型的性能，这降低了 LLM 应用的硬件需求，使得更多的开发者和企业能够使用 LLM 技术。
可以预见，随着 Pangu DeepDiver 模型的不断发展和完善，它将在各个领域发挥越来越重要的作用，例如：
- 智能客服： Pangu DeepDiver 模型可以帮助智能客服系统更准确地理解用户的问题，并提供更专业的解答。
- 智能搜索： Pangu DeepDiver 模型可以帮助搜索引擎更准确地理解用户的意图，并提供更相关的搜索结果。
- 智能写作： Pangu DeepDiver 模型可以帮助人们更高效地进行写作，并提供更丰富的素材和灵感。
- 智能决策： Pangu DeepDiver 模型可以帮助人们更全面地了解情况，并做出更明智的决策。
未来展望：持续探索与创新
虽然 Pangu DeepDiver 模型已经取得了显著的进展，但仍然存在一些挑战和改进空间。例如：
- 如何进一步提高搜索的效率和准确性？
- 如何更好地处理噪声信息和虚假信息？
- 如何更好地将外部知识与模型自身的知识进行融合？
- 如何将 Pangu DeepDiver 模型应用到更多的领域？
未来，华为诺亚方舟实验室的研究团队将继续致力于 Pangu DeepDiver 模型的研发，并探索更多的创新方法，以期在 LLM 领域取得更大的突破。
结语
华为盘古 DeepDiver 模型的发布，是 LLM 领域的一项重要里程碑。它不仅展示了华为在人工智能领域的强大实力，也为 LLM 的未来发展指明了新的方向。我们有理由相信，在科研人员的共同努力下，LLM 将在未来发挥更大的作用，为人类社会带来更多的福祉。
参考文献：
- Pangu DeepDiver 论文链接：https://github.com/pangu-tech/pangu-ultra/blob/main/pangu-deepdiver-report.pdf
- arxiv 链接：https://arxiv.org/abs/2505.24332 （请注意，arxiv 链接中的年份2505是假设，因为当前是2024年，请在实际发布时替换为正确的年份）
致谢：
感谢华为诺亚方舟实验室研究团队为本文提供的资料和信息。
免责声明：
本文仅代表作者个人观点，不代表任何机构或组织的立场。本文所提供的信息仅供参考，不构成任何投资建议。
Views: 0