引言
我们所知的预训练时代即将终结。 2024年底，OpenAI联合创始人Ilya Sutskever的这一断言犹如一颗重磅炸弹，在整个AI领域引发了广泛讨论。预训练模型，尤其是大规模语言模型，在过去几年中主导了人工智能（AI）的发展。然而，随着技术不断演进，人们开始意识到，单靠模型的规模和数据量，或许并不能带领我们走向通用人工智能（AGI）。在这场关于Scaling What的集体追问中，复旦大学/上海创智学院的邱锡鹏教授提出了一个耐人寻味的新路径——Context Scaling。
预训练时代的终结？
大模型的局限
近年来，预训练大模型如GPT、T5等在自然语言处理任务中取得了显著成功。然而，这些模型在处理复杂、模糊的任务时仍显得力不从心。例如，在多步推理、跨领域知识整合以及动态环境适应等方面，现有的大模型表现不尽如人意。
新的挑战
Ilya Sutskever的断言并非空穴来风。随着AI应用场景的不断扩展，单靠增加模型参数和数据量已无法满足实际需求。我们需要一种新的思路，使AI能够真正理解和适应复杂、多变的情境。
Context Scaling：更“深”而非更大
什么是Context Scaling？
邱锡鹏教授提出的Context Scaling，旨在通过深度理解和适应任务的情境（Context），使AI能够在复杂、模糊的任务中表现出色。与传统的参数规模扩展不同，Context Scaling关注的是如何让AI在不同情境下做出更智能的决策。
核心思想
Context Scaling的核心在于以下几个方面：
- 情境感知：让AI能够感知并理解任务的具体情境，包括环境、任务目标和约束条件等。
- 多层次推理：通过多层次的推理机制，使AI能够在复杂情境中进行有效的决策。
- 自适应学习：AI能够根据情境的变化进行自适应学习，不断优化自身的表现。
实际应用
在实际应用中，Context Scaling可以使AI在以下几个方面取得突破：
- 动态环境中的决策：例如，在自动驾驶中，AI需要根据路况、天气和交通规则等复杂情境做出实时决策。
- 跨领域知识整合：在医疗诊断中，AI需要整合多学科的知识，进行综合分析和判断。
- 多步推理：在数学推理和逻辑推理任务中，AI需要进行多步推理，得出准确的结论。
其他探索路径
推理时扩展（Test-Time Scaling）
OpenAI的o系列模型在数学推理任务中通过推理时扩展（Test-Time Scaling）取得了显著进展。这种方法通过在推理过程中动态调整模型参数，使模型能够在特定任务中表现出色。
强化学习的突破
DeepSeek-R1通过GRPO（Generalized Reparameterized Policy Optimization）替代PPO（Proximal Policy Optimization），在强化学习领域实现了突破。GRPO在处理高维连续动作空间问题时表现出了更强的适应性和稳定性。
Self-play + LLM
强化学习中的Self-play结合大语言模型（LLM），在游戏和代码生成任务中展现了惊人的能力。Self-play使AI能够在竞争和合作中不断进化，而LLM则提供了强大的语言理解和生成能力。
Agent化路径
Agent化路径催生了新一代智能助理，这些助理能够操作浏览器、调用工具，实现更加智能的人机交互。例如，智能助理可以通过自然语言指令完成在线购物、信息检索和日程管理等任务。
批判性分析
优势与挑战
Context Scaling作为一种新的AI发展路径，具有显著的优势。它能够使AI在复杂、模糊的情境中做出更智能的决策，从而拓展AI的应用场景。然而，Context Scaling也面临一些挑战：
- 情境复杂性：如何有效感知和理解复杂情境是一个难题，需要综合多学科的知识和技术。
- 自适应学习：AI需要具备强大的自适应学习能力，才能在不断变化的情境中保持高效表现。
- 计算资源：尽管Context Scaling不追求模型规模的无限扩展，但其深度理解和自适应学习仍需要大量的计算资源。
与其他路径的
Views: 0