蒙特利尔/北京—— 人工智能领域的领军人物、深度学习三巨头之一的Yoshua Bengio再次站在了聚光灯下。这位图灵奖得主近日宣布成立一家名为LawZero的非营利组织，旨在构建“设计即安全”的下一代AI系统。LawZero已成功筹集3000万美元的启动资金，引发了业界对于AI安全未来发展方向的广泛关注和深入讨论。
Bengio的AI安全新征程：LawZero的诞生
Yoshua Bengio，作为深度学习领域的奠基人之一，其在神经网络和人工智能方面的贡献举世瞩目。他与Geoffrey Hinton、Yann LeCun并称为“深度学习三巨头”，共同推动了人工智能技术的飞速发展。然而，随着AI技术的日益成熟和应用范围的不断扩大，Bengio对AI潜在的安全风险也日益感到担忧。
这种担忧并非空穴来风。近年来，AI系统在自我保护、目标偏移甚至欺骗行为方面展现出了一些令人不安的迹象。随着AI能力和自主性的增强，这些风险可能会进一步加剧，对社会和人类造成潜在的威胁。
正是出于对这些风险的深刻认识，Bengio决定将职业生涯的重心转向AI安全领域，并创立了LawZero。LawZero的成立，标志着Bengio在AI安全领域开启了一段新的征程。他希望通过LawZero的研究和实践，探索出一条能够从设计上确保AI安全的道路，为人类社会负责任地发展和利用AI技术做出贡献。
LawZero的核心理念：设计即安全
LawZero的核心理念是“设计即安全（safe-by-design）”。这意味着，AI系统的安全性不应仅仅依赖于事后的监管和控制，而应从系统设计的最初阶段就予以充分考虑和保障。LawZero的目标是构建一种新型的AI系统，这种系统能够将安全性置于商业利益之上，确保AI技术的发展始终符合人类的价值观和利益。
与传统的Agent型AI系统不同，LawZero所构建的AI系统并非旨在直接在世界中采取行动，而是专注于理解和学习世界。这种AI系统将扮演监督者的角色，通过透明化的外部推理，为Agent型AI系统提供监督和指导，并对问题提供可验证的真实答案。
LawZero的这种设计理念，旨在从根本上降低AI系统出现安全问题的可能性。通过将AI系统的重点放在理解和学习上，而不是直接的行动和决策上，LawZero可以有效地避免AI系统因目标追求和环境干预而引发的潜在风险。
Scientist AI：LawZero的技术基石
LawZero的技术基石是Yoshua Bengio所提出的全新研究方法——Scientist AI。Scientist AI的核心功能是基于观测解释世界，而非通过行动模仿或取悦人类。这种AI系统包含两大组件：世界模型和推理机。
- 世界模型： 世界模型能够通过观察数据生成因果理论，以此解释数据背后的规律，构建对物理与社会规律的结构化理解。其运作机制类似于科学家通过观察自然现象提出假说并构建理论体系。
- 推理机： 推理机则是一个问答推理机制。它能够基于世界模型中的知识，对提出的问题进行推理和回答。
Scientist AI的两个组件均以明确的不确定性概念为基础，以降低因过度自信的预测引发风险的可能性。Scientist AI的输出仅限于对问题的概率性解释和基于理论的逻辑推断，而不具备自主行动的能力，由此来从根本上杜绝因目标追求和环境干预引发的风险。
Bengio团队认为，Scientist AI可以在以下三个核心领域发挥作用：
- 作为对抗危险AI的安全护栏： 针对表现出自我保护、目标偏离、欺骗等倾向的AI系统，Scientist AI可通过双重验证机制防范灾难性后果。在高能力Agent型AI执行现实行动前，对其行为进行风险评估，若超过预设阈值则直接阻断。这一机制可有效遏制当前前沿AI因自主性增强而日益凸显的不可预测性风险。
- 作为加速科学发现的可信工具： 不“以取悦人类为训练目标”，Scientist AI可生成诚实且可论证的解释性假设，尤其在生物学、材料科学、化学等领域，可规避传统AI因“目标对齐偏差”导致的研究风险，开启低风险加速探索的新范式。
- 作为安全开发强AI的底层基建： 可作为值得信赖的研究与编程工具，通过其透明化推理框架，为强AI的开发建立可审计的安全边界，从源头阻断“欺骗性Agent”的风险传导，助力设计安全的人类级智能，乃至安全的超级人工智能（ASI）。
LawZero的资金支持与团队构成
LawZero的成立得到了多家慈善捐赠方的支持，目前已筹集到3000万美元的启动资金。这些支持者包括Future of Life Institute、Open Philanthropy、Silicon Valley Community Foundation、前谷歌CEO Eric Schmidt创立的研究机构Schmidt Sciences等。其中，Open Philanthropy还是OpenAI的早期投资方。
LawZero的总部位于蒙特利尔，最初由非营利机构Mila-Quebec AI Institute启动孵化，Mila现已成为LawZero的运营合作伙伴。LawZero所筹集的捐赠资金，也是在项目孵化阶段通过Mila-Quebec AI Institute进行的。
Bengio担任LawZero的主席兼科学总监。LawZero的团队中已有超过15名顶尖研究员。这些研究员在人工智能、机器学习、安全等领域拥有丰富的经验和深厚的造诣，为LawZero的研究和开发工作提供了坚实的人才保障。
Bengio的创业之路：从Element AI到LawZero
LawZero并非Bengio的首次创业。2016年10月，Bengio曾和Jean-FrancoisGagné等人联合成立Element AI，主要聚焦“人工智能战略咨询”、“专家匹配”和“AI-as-a-Service”（AIaaS）。
Element AI曾一度成为“全球最大独角兽”之一，仅仅成立9个月就筹集了1.02亿美元的风险投资，不到4年时间里，融资约2.6亿美元，微软、英特尔、麦肯锡、加拿大政府等大型机构均为其资方，估值高达12亿美元。
然而，令人唏嘘的是，2020年Element AI传来“仅以2.3亿美元被抛售”的消息。《环球邮报》认为，这家公司大肆招聘顶尖人才、大量进行宣传投资的行为，与它建立软件业务的初衷背道而驰。连Bengio本人都否定了Element AI的价值。
Element AI的经历给Bengio带来了深刻的教训。在LawZero的创立过程中，Bengio更加注重项目的长期发展和可持续性，将安全性置于商业利益之上。LawZero的非营利性质，也确保了其研究方向不会受到商业利益的过度影响，能够更加专注于解决AI安全领域的关键问题。
业界的反应与未来的展望
Bengio创立LawZero的消息引发了业界的广泛关注和讨论。一些人对LawZero的理念和目标表示赞赏和支持，认为其有望为AI安全领域带来新的突破。另一些人则持谨慎观望态度，认为LawZero面临着诸多挑战，其能否成功还有待时间的检验。
其中一个主要的担忧是，LawZero的Scientist AI方法是否能够有效地应对AI系统日益复杂的安全风险。一些人认为，Scientist AI的被动观察和推理模式可能难以应对主动攻击和欺骗行为。
此外，LawZero的非营利性质也引发了一些质疑。一些人担心，缺乏商业激励可能会影响LawZero的研究效率和创新能力。
尽管面临着诸多挑战，LawZero的成立仍然具有重要的意义。它标志着AI安全问题日益受到重视，也表明了学术界和产业界正在积极探索解决AI安全问题的新途径。
未来，LawZero能否成功重塑AI安全格局，还有待时间的检验。但无论如何，LawZero的探索和实践都将为AI安全领域的发展提供宝贵的经验和启示。
结论
Yoshua Bengio再次创业，成立非营利组织LawZero，旨在构建“设计即安全”的下一代AI系统，这无疑是人工智能领域的一件大事。LawZero的成立，不仅体现了Bengio对AI安全问题的深刻担忧，也展现了他致力于解决这些问题的决心和行动。
LawZero的核心理念、技术基石以及资金支持，都为其未来的发展奠定了良好的基础。然而，LawZero也面临着诸多挑战，其能否成功重塑AI安全格局，还有待时间的检验。
无论如何，LawZero的探索和实践都将为AI安全领域的发展提供宝贵的经验和启示。我们期待LawZero能够在AI安全领域取得突破性的进展，为人类社会负责任地发展和利用AI技术做出贡献。
参考文献：
- LawZero官方网站: https://lawzero.org/en/news/yoshua-bengio-launches-lawzero-new-nonprofit-advancing-safe-design-ai
- Scientist AI相关论文: http://arxiv.org/pdf/2502.15657
- Hacker News相关讨论: https://news.ycombinator.com/item?id=44174643
Views: 0