在上海浦东滨江公园观赏外滩建筑群-20240824在上海浦东滨江公园观赏外滩建筑群-20240824

摘要: 近日,一款名为“Manus”的通用AI Agent产品迅速走红,但随即遭遇安全危机。一位名为jian的X用户成功破解了Manus系统,曝光了其系统提示词、底层模型以及部分运行代码。这一事件引发了关于AI Agent安全性的广泛讨论,Manus官方也迅速做出回应。本文将深入探讨Manus被破解事件的来龙去脉,分析其技术细节,并探讨AI Agent安全性的重要性。

引言:AI Agent的崛起与安全隐患

随着人工智能技术的飞速发展,AI Agent正逐渐渗透到各个领域,成为提升效率、解决复杂问题的有力工具。Manus作为一款通用AI Agent,凭借其强大的文件处理、数据分析、代码编写等能力,迅速吸引了大量用户的关注。然而,在用户争相体验其强大功能的同时,Manus的安全问题也浮出水面,引发了人们对于AI Agent安全性的担忧。

事件回顾:X用户“jian”成功破解Manus

就在Manus上线不久,一位名为jian的X用户声称成功破解了Manus AI系统。他仅用一句简单的指令,就让Manus输出了“/opt/.manus/”目录下的文件,从而获取了包括系统提示词、底层模型信息以及沙盒运行时代码等关键信息。

具体来说,jian通过要求Manus输出特定目录下的文件,成功绕过了系统的安全防护机制,获取了敏感信息。这一事件暴露了Manus在安全设计上存在的漏洞,引发了业界对于AI Agent安全性的高度关注。

破解细节:Claude Sonnet加持,29种工具辅助

根据jian曝光的信息,Manus并非一个完全独立的模型,而是基于Anthropic的Claude Sonnet模型构建。此外,Manus还配备了29种工具,用于辅助完成各种任务,例如数据分析等。

值得注意的是,Manus并没有配备多智能体功能,并且使用了名为“browser_use”的开源项目,但该部分代码可能经过了混淆处理。

系统提示词与工具曝光

jian还公开了Manus的系统提示词和工具信息,这些信息对于理解Manus的工作原理至关重要。通过分析这些信息,开发者可以更好地了解Manus的内部机制,并可能发现更多的安全漏洞。

地址:

官方回应:承认沙盒存在,否认多智能体缺失

针对此次破解事件,Manus AI联合创始人兼首席科学家季逸超迅速做出了回应。他承认每个用户都可以直接访问沙盒,并且每个会话都有自己的沙盒,与其他会话完全隔离。

季逸超解释说,沙盒中的代码仅用于接收智能体的命令,因此只是轻度混淆。他还表示,工具的设计并非秘密,Manus智能体的动作空间设计与常见的学术方法并没有太大区别。

然而,季逸超否认了Manus缺失多智能体功能的说法。他强调,多智能体实现是Manus的关键功能之一。用户与Manus交流时,实际上只与执行智能体进行通信,而该智能体本身并不了解知识智能体、规划智能体或其他智能体的细节。

季逸超还指出,由于RAG(Retrieval-Augmented Generation)机制,通过越狱获取的工具描述会在不同任务中有所变化。他认为,通过越狱获取的提示大多是幻觉。

模型选择:Claude与Qwen微调版本并用

当被问及Manus的基本模型是Claude还是其他模型时,季逸超表示,他们使用了Claude和不同的Qwen微调版本。在Manus开发初期,他们只获得了Claude 3.5 Sonnet v1版本(不支持长思维链,即推理token),因此需要很多辅助模型来补充这部分功能。

季逸超透露,Claude 3.7看起来非常有潜力,他们正在内部测试,并会及时更新。

社区反应:质疑与验证并存

Manus被破解事件在AI社区引发了广泛讨论。一些人质疑jian的发现,认为他可能获取了不完整或不准确的信息。另一些人则试图验证jian的说法,希望通过自己的实验来确认Manus的安全漏洞。

“Browser Use”官方评价

针对Manus使用了“browser_use”开源代码一事,“Browser Use”官方评价道:“事实证明,Manus只是另一个 Browser Use 包装器。”

用户验证尝试

一位用户表示,他已经拿到了Manus的邀请码,并让Manus输出“/opt/.manus”目录内容为一个zip文件。但遗憾的是,该用户没有看到任何提示模版。

安全警示:AI Agent安全不容忽视

Manus被破解事件再次提醒我们,在加强AI功能的同时,安全性也是一个不容忽略的问题。AI Agent作为一种新兴技术,其安全风险尚未得到充分认识。

数据泄露风险

AI Agent通常需要访问大量数据才能完成任务。如果AI Agent的安全防护机制存在漏洞,攻击者可能会利用这些漏洞窃取敏感数据,造成严重损失。

恶意利用风险

AI Agent可以被用于执行各种任务,包括自动化攻击、传播虚假信息等。如果AI Agent被恶意利用,可能会对社会造成严重危害。

隐私侵犯风险

AI Agent可能会收集用户的个人信息,例如浏览历史、搜索记录等。如果这些信息被泄露或滥用,可能会侵犯用户的隐私权。

如何提升AI Agent的安全性

为了应对AI Agent的安全风险,我们需要采取一系列措施来提升其安全性。

加强安全设计

在设计AI Agent时,应充分考虑安全因素,采用先进的安全技术,例如访问控制、加密、身份验证等,防止未经授权的访问和数据泄露。

定期安全审计

定期对AI Agent进行安全审计,发现并修复安全漏洞。安全审计应由专业的安全团队进行,确保审计的全面性和有效性。

实施安全监控

实施安全监控,及时发现和应对安全事件。安全监控应包括对AI Agent的运行状态、访问日志、安全事件等进行监控,以便及时发现异常情况。

加强用户教育

加强用户教育,提高用户安全意识。用户应了解AI Agent的安全风险,并采取必要的安全措施,例如设置强密码、不随意点击可疑链接等,保护自己的数据安全。

建立安全标准

建立AI Agent安全标准,规范AI Agent的开发和使用。安全标准应包括对AI Agent的安全设计、安全测试、安全运维等方面的要求,确保AI Agent的安全性。

开源与安全:平衡的艺术

Manus团队表示,他们一直有开源传统,并且也一直在HuggingFace上分享后训练模型。他们将在不久的将来开源许多东西。

开源对于AI Agent的发展具有重要意义,可以促进技术交流、加速创新。然而,开源也可能带来安全风险。攻击者可以利用开源代码来发现安全漏洞,并利用这些漏洞攻击AI Agent。

因此,在开源AI Agent时,需要谨慎权衡开源的益处和安全风险,采取必要的安全措施,例如代码审计、漏洞扫描等,确保开源代码的安全性。

结论:安全是AI Agent发展的基石

Manus被破解事件为我们敲响了警钟。AI Agent作为一种新兴技术,其安全风险不容忽视。只有加强安全设计、定期安全审计、实施安全监控、加强用户教育、建立安全标准,才能有效应对AI Agent的安全风险,确保AI Agent的健康发展。

安全是AI Agent发展的基石。只有在安全的前提下,AI Agent才能真正发挥其潜力,为社会带来福祉。

参考文献

未来展望

AI Agent的安全问题将持续受到关注。随着AI技术的不断发展,AI Agent的安全风险也将不断演变。我们需要不断学习和探索,采取更加有效的安全措施,确保AI Agent的安全性。

未来,我们可以期待以下发展:

  • 更加智能的安全防护机制:AI Agent将能够自动检测和应对安全威胁,提高安全防护能力。
  • 更加完善的安全标准:AI Agent的安全标准将更加完善,规范AI Agent的开发和使用。
  • 更加普及的安全教育:用户将更加了解AI Agent的安全风险,并采取必要的安全措施。

只有不断提升AI Agent的安全性,才能让AI Agent真正成为我们可靠的助手,为社会发展做出更大的贡献。


>>> Read more <<<

Views: 10

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注