摘要: 近日,一款名为“Manus”的通用AI Agent产品迅速走红,但随即遭遇安全危机。一位名为jian的X用户成功破解了Manus系统,曝光了其系统提示词、底层模型以及部分运行代码。这一事件引发了关于AI Agent安全性的广泛讨论,Manus官方也迅速做出回应。本文将深入探讨Manus被破解事件的来龙去脉,分析其技术细节,并探讨AI Agent安全性的重要性。
引言:AI Agent的崛起与安全隐患
随着人工智能技术的飞速发展,AI Agent正逐渐渗透到各个领域,成为提升效率、解决复杂问题的有力工具。Manus作为一款通用AI Agent,凭借其强大的文件处理、数据分析、代码编写等能力,迅速吸引了大量用户的关注。然而,在用户争相体验其强大功能的同时,Manus的安全问题也浮出水面,引发了人们对于AI Agent安全性的担忧。
事件回顾:X用户“jian”成功破解Manus
就在Manus上线不久,一位名为jian的X用户声称成功破解了Manus AI系统。他仅用一句简单的指令,就让Manus输出了“/opt/.manus/”目录下的文件,从而获取了包括系统提示词、底层模型信息以及沙盒运行时代码等关键信息。
具体来说,jian通过要求Manus输出特定目录下的文件,成功绕过了系统的安全防护机制,获取了敏感信息。这一事件暴露了Manus在安全设计上存在的漏洞,引发了业界对于AI Agent安全性的高度关注。
破解细节:Claude Sonnet加持,29种工具辅助
根据jian曝光的信息,Manus并非一个完全独立的模型,而是基于Anthropic的Claude Sonnet模型构建。此外,Manus还配备了29种工具,用于辅助完成各种任务,例如数据分析等。
值得注意的是,Manus并没有配备多智能体功能,并且使用了名为“browser_use”的开源项目,但该部分代码可能经过了混淆处理。
系统提示词与工具曝光
jian还公开了Manus的系统提示词和工具信息,这些信息对于理解Manus的工作原理至关重要。通过分析这些信息,开发者可以更好地了解Manus的内部机制,并可能发现更多的安全漏洞。
地址:
- Manus 工具和系统提示词地址:https://gist.github.com/jlia0/db0a9695b3ca7609c9b1a08dcbf872c9
官方回应:承认沙盒存在,否认多智能体缺失
针对此次破解事件,Manus AI联合创始人兼首席科学家季逸超迅速做出了回应。他承认每个用户都可以直接访问沙盒,并且每个会话都有自己的沙盒,与其他会话完全隔离。
季逸超解释说,沙盒中的代码仅用于接收智能体的命令,因此只是轻度混淆。他还表示,工具的设计并非秘密,Manus智能体的动作空间设计与常见的学术方法并没有太大区别。
然而,季逸超否认了Manus缺失多智能体功能的说法。他强调,多智能体实现是Manus的关键功能之一。用户与Manus交流时,实际上只与执行智能体进行通信,而该智能体本身并不了解知识智能体、规划智能体或其他智能体的细节。
季逸超还指出,由于RAG(Retrieval-Augmented Generation)机制,通过越狱获取的工具描述会在不同任务中有所变化。他认为,通过越狱获取的提示大多是幻觉。
模型选择:Claude与Qwen微调版本并用
当被问及Manus的基本模型是Claude还是其他模型时,季逸超表示,他们使用了Claude和不同的Qwen微调版本。在Manus开发初期,他们只获得了Claude 3.5 Sonnet v1版本(不支持长思维链,即推理token),因此需要很多辅助模型来补充这部分功能。
季逸超透露,Claude 3.7看起来非常有潜力,他们正在内部测试,并会及时更新。
社区反应:质疑与验证并存
Manus被破解事件在AI社区引发了广泛讨论。一些人质疑jian的发现,认为他可能获取了不完整或不准确的信息。另一些人则试图验证jian的说法,希望通过自己的实验来确认Manus的安全漏洞。
“Browser Use”官方评价
针对Manus使用了“browser_use”开源代码一事,“Browser Use”官方评价道:“事实证明,Manus只是另一个 Browser Use 包装器。”
用户验证尝试
一位用户表示,他已经拿到了Manus的邀请码,并让Manus输出“/opt/.manus”目录内容为一个zip文件。但遗憾的是,该用户没有看到任何提示模版。
安全警示:AI Agent安全不容忽视
Manus被破解事件再次提醒我们,在加强AI功能的同时,安全性也是一个不容忽略的问题。AI Agent作为一种新兴技术,其安全风险尚未得到充分认识。
数据泄露风险
AI Agent通常需要访问大量数据才能完成任务。如果AI Agent的安全防护机制存在漏洞,攻击者可能会利用这些漏洞窃取敏感数据,造成严重损失。
恶意利用风险
AI Agent可以被用于执行各种任务,包括自动化攻击、传播虚假信息等。如果AI Agent被恶意利用,可能会对社会造成严重危害。
隐私侵犯风险
AI Agent可能会收集用户的个人信息,例如浏览历史、搜索记录等。如果这些信息被泄露或滥用,可能会侵犯用户的隐私权。
如何提升AI Agent的安全性
为了应对AI Agent的安全风险,我们需要采取一系列措施来提升其安全性。
加强安全设计
在设计AI Agent时,应充分考虑安全因素,采用先进的安全技术,例如访问控制、加密、身份验证等,防止未经授权的访问和数据泄露。
定期安全审计
定期对AI Agent进行安全审计,发现并修复安全漏洞。安全审计应由专业的安全团队进行,确保审计的全面性和有效性。
实施安全监控
实施安全监控,及时发现和应对安全事件。安全监控应包括对AI Agent的运行状态、访问日志、安全事件等进行监控,以便及时发现异常情况。
加强用户教育
加强用户教育,提高用户安全意识。用户应了解AI Agent的安全风险,并采取必要的安全措施,例如设置强密码、不随意点击可疑链接等,保护自己的数据安全。
建立安全标准
建立AI Agent安全标准,规范AI Agent的开发和使用。安全标准应包括对AI Agent的安全设计、安全测试、安全运维等方面的要求,确保AI Agent的安全性。
开源与安全:平衡的艺术
Manus团队表示,他们一直有开源传统,并且也一直在HuggingFace上分享后训练模型。他们将在不久的将来开源许多东西。
开源对于AI Agent的发展具有重要意义,可以促进技术交流、加速创新。然而,开源也可能带来安全风险。攻击者可以利用开源代码来发现安全漏洞,并利用这些漏洞攻击AI Agent。
因此,在开源AI Agent时,需要谨慎权衡开源的益处和安全风险,采取必要的安全措施,例如代码审计、漏洞扫描等,确保开源代码的安全性。
结论:安全是AI Agent发展的基石
Manus被破解事件为我们敲响了警钟。AI Agent作为一种新兴技术,其安全风险不容忽视。只有加强安全设计、定期安全审计、实施安全监控、加强用户教育、建立安全标准,才能有效应对AI Agent的安全风险,确保AI Agent的健康发展。
安全是AI Agent发展的基石。只有在安全的前提下,AI Agent才能真正发挥其潜力,为社会带来福祉。
参考文献
- X用户jian的推文:https://x.com/op7418/status/1898938027063558154
- Manus AI联合创始人季逸超的推文:https://x.com/peakji/status/1898994802194346408
- Manus 工具和系统提示词地址:https://gist.github.com/jlia0/db0a9695b3ca7609c9b1a08dcbf872c9
未来展望
AI Agent的安全问题将持续受到关注。随着AI技术的不断发展,AI Agent的安全风险也将不断演变。我们需要不断学习和探索,采取更加有效的安全措施,确保AI Agent的安全性。
未来,我们可以期待以下发展:
- 更加智能的安全防护机制:AI Agent将能够自动检测和应对安全威胁,提高安全防护能力。
- 更加完善的安全标准:AI Agent的安全标准将更加完善,规范AI Agent的开发和使用。
- 更加普及的安全教育:用户将更加了解AI Agent的安全风险,并采取必要的安全措施。
只有不断提升AI Agent的安全性,才能让AI Agent真正成为我们可靠的助手,为社会发展做出更大的贡献。
Views: 10
