长期记忆：AI 自我进化的基石
地球上最早的生命证据可以追溯到 35 亿年前，而直到大约 25 万到 40 万年前，智人才出现。在这漫长的岁月中，生物不断地兴盛又覆灭，但整体趋势总是越来越复杂，其中最复杂的生物组件莫过于我们智人的大脑。这样的复杂性是我们的意识和智慧的来源。而这一切背后的机制是进化（evolution）。
到了现今的大模型时代，强大的基础模型已经展现出了强大的智能水平，能完成多种多样的任务。但它们也有个缺点，训练之后就基本定型了，难以随着用户的使用而演进。但毫无疑问，这项能力很重要。
近日，天桥脑科学研究院和普林斯顿大学等多所研究机构发布了一篇研究论文，详细阐述了长期记忆对 AI 自我进化的重要性，并且他们还提出了自己的实现框架——基于多智能体的 Omne，其在 GAIA 基准上取得了第一名的成绩。
论文标题：Long Term Memory : The Foundation of AI Self-Evolution
论文地址：https://arxiv.org/pdf/2410.15665
该团队将 LLM 的模型进化过程分成了三个主要阶段：
- 阶段 1：在物理世界中积累认知。
- 阶段 2：在数字世界中构建基础模型。
- 阶段 3：模型自我进化，以实现更强大的智能。
现有的研究主要围绕着阶段 1 和 2，即如何构建更好的数据以及将其用于训练更强大的基础模型。目前人们有一个普遍的看法：在这种曲线拟合范式中，架构并不重要，关键的因素是数据集。但到了阶段 3，架构就会变得和数据一样重要。核心的难题是如何在统计模型的基础上有效表达少数个体的数据。
该研究关注的核心是如何确保在统计模型内有效地表达个体数据。
实现模型自我进化的原理
模型的自我进化能力是模型长期适应和个性化的关键，而这又严重仰赖于有效的记忆机制。在这一理解的基础上，该团队提出：长期记忆（LTM）能为模型的持续进化提供历史数据积累和经验学习能力。正如人类通过经验和记忆来完善认知和行为一样，LTM 也能让模型在处理长期、分散和个性化的数据时逐步提升推理和学习能力。
用 LTM 数据提升模型能力，使其能够自我进化
在传统 LLM 中，更新模型通常需要调整所有参数，而如果目的是处理个体数据，那这种操作明显不切实际。一种更优的方法是仅更新局部参数，从而在无损模型全局稳定性的前提下，让模型适应稀疏、个性化的 LTM 数据。这种方法可解决当前模型中个体数据「被平均化」的问题，使个性化信息能够更全面地表达。使用上下文学习（ICL）的检索增强生成（RAG）和用于微调的低秩适应（LoRA）等技术都可被视为局部更新个体数据的方法。该团队的做法是采用一种混合策略来整合 LTM 数据，从而在实际应用中达到让人满意的结果。但是，该团队也表示，这可能并非一种完美的解决方案，未来可能还会出现更好的方法。
组合 LTM 数据进行实时权重更新，从而实现自我进化
当前的 LLM 通常分为训练和推理两个阶段。在推理阶段，模型权重是冻结的，防止模型根据新输入进行调整和学习。这种固定的推理过程会限制模型的适应性，尤其是在处理个性化任务和实时学习方面。受人脑更新机制的启发，该团队认为未来的 LLM 应该将推理和训练与 LTM 结合起来，使模型能够在接收到新信息时动态调整权重。这就类似于人类的持续学习能力。此外，这种集成还可以帮助模型在面对复杂的推理任务时自我反思并纠正错误的推理路径，从而提高准确性和效率。这种动态的自我调整能力将大大提升模型的个性化能力和长期进化潜力。
通过长期记忆，模型不仅可以从短期记忆中学习，还可以从历史数据中提取有价值的见解，随着时间的推移能更深入地理解个人偏好和行为模式。这种理解可实现模型的个性化定制和动态调整，使模型能够更有效地进化。特别是在面对新的或极端的情况时，长期记忆使模型能够参考过去的经验，快速做出调整并自我进化，从而获得更大的灵活性和适应性。
长期记忆在模型自我进化中的实现路径
该团队首先将给出 AI 自我进化和 LTM 的定义，然后探索 LTM 在 AI 自我进化中的关键作用，之后会介绍如何使用LTM 来实现 AI 自我进化。他们做出了以下贡献：
- 给出了 AI 自我进化和 LTM 的定义；
- 提出了一个用于 LTM 的数据框架，包括数据收集、分析与合成；
- 提出了一个用于 LTM 的多智能体协作开发框架。
AI 自我进化的基础
这里简要给出 AI 自我进化的定义，详情请参阅原论文。AI 自我进化是指 AI 模型使用个性化数据不断学习和优化，实现多智能体协作和认知方面的突破。该过程基于一个共享式内核架构，其中各个模型通过处理个性化经验和数据不断进化，从而提升自身推理能力和适应能力，最终实现在动态环境中的自主学习和持续进化。
要实现 AI 自我进化，需要：
- 多智能体协作机制
- 差异化的个性化模型
- 自我纠错和评估机制
- 长期记忆和学习能力
用于 AI 自我进化的 LTM
目前，LLM 主要通过两种记忆机制来管理信息：上下文存储器和基于压缩的参数存储器。虽然这些机制在短期任务中表现出色，但它们在支持长期自主学习和进化方面仍然存在不足。正如人类使用 LTM 来塑造他们的行为和身份一样，人工智能系统也可以采用类似的方法根据「个人数据」定制其响应和行为。这里，「个人数据」不仅限于个人用户，还包括特定的机构和领域，允许模型根据更广泛的个人背景和需求调整其响应和行为。
作者深入探讨了 LTM 在 AI 自我进化中所扮演的关键角色，并提出了一个基于多智能体的框架，该框架能够有效地整合 LTM 数据，从而实现模型的自我进化。
结论
长期记忆是 AI 自我进化的基石。通过整合 LTM 数据，AI 模型能够不断学习和进化，从而实现更强大的智能水平。这项研究为 AI 的未来发展指明了方向，也为我们对人工智能的理解带来了新的启示。
参考文献
- Long Term Memory : The Foundation of AI Self-Evolution (https://arxiv.org/pdf/2410.15665)
Views: 0