旧金山 — 人工智能领域长期存在一个引人深思的猜想：“压缩即智能”。近日，卡内基梅隆大学研究团队的一项突破性研究，为这一猜想提供了强有力的实验证据。该团队开发的名为CompressARC的方法，在解决抽象推理挑战（ARC-AGI）问题上表现出色，而其独特之处在于，它无需预训练和大量数据，仅通过无损信息压缩就能实现智能行为。
这一研究成果挑战了当前人工智能领域对大规模预训练和海量数据的依赖，为开发更高效、更通用的智能系统开辟了新的道路。
“压缩即智能”：一个历久弥新的猜想
“压缩即智能”并非横空出世的新理论。早在1998年，计算机科学家Jose Hernandez-Orallo就已在论文中阐述了基于算法复杂度的智能定义。著名AI研究科学家、OpenAI与SSI联合创始人Ilya Sutskever也曾表达过类似观点。其核心思想是，智能系统能够识别并提取数据中的关键模式，从而实现高效的信息压缩，而这种压缩能力正是智能的体现。
CompressARC：无需预训练的解谜高手
卡内基梅隆大学Albert Gu领导的团队，通过实验验证了这一猜想。他们开发的CompressARC方法，旨在解答一个简单而基本的问题：无损信息压缩本身能否产生智能行为？
CompressARC在解决ARC-AGI问题时，遵循了三个严格的限制：
- 无需预训练：模型不依赖于任何预先训练的数据。
- 无需数据集：模型仅在目标ARC-AGI谜题上进行训练并输出答案。
- 无需搜索：模型仅通过梯度下降进行优化。
尽管存在这些限制，CompressARC在训练集上实现了34.75%的准确率，在评估集上实现了20%的准确率。在RTX 4070显卡上，处理每个谜题的时间约为20分钟。
研究团队表示，这是首个训练数据仅限于目标谜题的、用于解决ARC-AGI的神经方法。他们强调，CompressARC的智能并非源自预训练、庞大的数据集、详尽的搜索或大规模计算，而是源自压缩。
ARC-AGI：测试AI抽象推理能力的基准
ARC-AGI（Abstraction and Reasoning Corpus – AGI）是一个由François Chollet于2019年提出的AI基准，旨在测试系统从少量示例中归纳总结出抽象规则的能力。该数据集包含一些类似智商测试的谜题：先展示一些演示底层规则的图像，然后给出需要补全或应用该规则的测试图像。
每个谜题都有一个隐藏规则，可将每个输入网格映射到每个输出网格。被测试者需要根据给定的输入输出示例，推断出隐藏规则，并预测给定输入的输出。ARC-AGI对AI系统提出了很高的要求，需要它们具备抽象推理、模式识别和泛化能力。
CompressARC的工作原理
CompressARC的核心思想是，将不完整的ARC-AGI谜题转换成完整的谜题，方法是寻找一个紧凑的表示，而当对这个表示进行解压缩时，就会重现有任意解的谜题。
该方法使用神经网络作为解码器，而编码算法则由梯度下降算法实现。梯度下降算法在解码器上执行推理时间训练，同时保持正确的解码输出。换句话说，编码过程就是优化解码器的参数和输入分布，从而获得经过最大压缩的谜题表示。由此得到的优化版参数将作为经过压缩的谜题表示。
挑战与展望
CompressARC的成功，为人工智能领域带来了新的希望，也引发了人们对智能本质的重新思考。它表明，智能可能并非仅仅依赖于大规模数据和计算，而是与信息压缩能力密切相关。
然而，CompressARC仍存在一些局限性。例如，其在评估集上的准确率相对较低，处理时间也较长。未来的研究可以集中在提高CompressARC的效率和泛化能力，探索更有效的压缩算法，以及将“压缩即智能”的理念应用于更广泛的人工智能任务中。
该研究团队表示：“对于依赖大量预训练和数据的传统，我们发起了挑战，并展现了一种未来，即经过定制设计的压缩目标和高效的推理时间计算共同发力，从而可以从最少的输入中提取出深度智能。”
相关链接：
- 博客地址：https://iliao2345.github.io/blog_posts/arc_agi_without_pretraining/arc_agi_without_pretraining.html
- 项目地址：https://github.com/iliao2345/CompressARC
Views: 5