大模型狂飙终结？Scaling Law失效？或：大模型ScalingLaw失效？或：LLM：Scaling Law的终结？

大模型的“密度定律”：参数不再是唯一王冠

引言： 曾经，大模型的性能提升如同攀登珠穆朗玛峰，需要依靠“大力出奇迹”——无限堆叠数据和参数规模。然而，清华大学刘知远教授团队近期提出的“密度定律”（Densing Law）却为我们描绘了一幅截然不同的图景：大模型的能力密度正在指数级增长，每100天翻一番！这是否意味着支撑大模型狂飙的“Scaling Law”（尺度定律）已走到尽头？抑或开启了AI发展的新纪元？

主体：

一、Scaling Law的局限与Densing Law的兴起：

长期以来，Scaling Law主导着大模型的发展方向。该定律指出，模型性能与参数规模、训练数据规模之间存在幂律关系。然而，随着模型规模不断膨胀，这种关系逐渐趋于饱和，甚至出现“收益递减”的现象，引发了关于Scaling Law是否走到尽头的激烈讨论。OpenAI CEO Sam Altman等仍看好Scaling Law的潜力，而另一派则认为其已“撞墙”。

清华团队的研究则另辟蹊径，提出了“能力密度”（Capability Density）的概念。能力密度定义为：给定模型的有效参数大小与实际参数大小的比率。有效参数大小指达到与目标模型同等性能所需的参考模型的参数数量。通过对29个广泛使用的开源大模型进行分析，他们发现LLM的最大能力密度正以惊人的速度增长，大约每100天翻一番。这便是“密度定律”。

二、密度定律的四大推论及影响：

基于密度定律，清华团队得出了以下重要推论：

模型推理开销指数级下降： 密度定律预示着模型推理成本将持续降低。以GPT-3.5和Gemini-1.5-Flash为例，每百万Token的推理成本在短短几个月内下降了266倍，充分印证了这一推论。
大模型能力密度加速增强： 自ChatGPT发布以来，大模型能力密度的增长速度进一步加快，这意味着在相同参数规模下，模型性能提升更为显著。
端侧智能的巨大潜力： 芯片电路密度（摩尔定律）与模型能力密度（密度定律）的持续增长，将推动更高能力密度的模型运行在终端设备上，从而释放端侧智能的巨大潜力，加速AI在消费市场的普及。
模型压缩算法的局限性：研究表明，单纯依靠模型压缩算法（如剪枝和蒸馏）并不能有效提升模型能力密度。大多数压缩模型的密度反而低于原始模型。

三、密度定律与AI时代的三大引擎：

值得关注的是，清华团队的研究还发现，电力、算力、智力这AI时代的三大核心引擎，都遵循着密度快速增长的趋势。这暗示着，AI发展的核心驱动力并非单纯的规模扩张，而是更高效的资源利用和技术创新。

四、未来展望：

密度定律的提出，为大模型的发展提供了新的视角和方向。未来，研究重点应转向如何持续提升模型能力密度，改进模型制造工艺，实现大模型的高质量、可持续发展。这需要学术界和产业界共同努力，探索更有效的训练方法、算法优化和硬件创新。

结论：

密度定律的发现，无疑为大模型领域注入了一针强心剂。它不仅挑战了传统Scaling Law的局限性，更指明了AI发展的新方向——追求更高效、更强大的模型，而非单纯追求规模的扩张。这将推动AI技术更快地走向成熟，并惠及更广泛的应用领域。然而，我们也需要警惕，仅仅依靠密度定律并不能解决所有问题，还需要持续探索模型的本质，并关注其伦理和社会影响。

参考文献：