交大联手SII，推出智能体训练新框架！

上海，[日期] – 上海交通大学与SII（具体名称待查证，原文未明确）联合推出了一款名为PC Agent-E的智能体训练框架，该框架旨在提升电脑智能体的性能，并在Windows系统上取得了显著成果。这一突破性的进展，为自动化办公、软件测试、教育辅助等领域带来了新的可能性。

PC Agent-E是什么？

PC Agent-E是一个高效的智能体训练框架，它利用312条人类标注的计算机使用轨迹，并基于Claude 3.7 Sonnet模型合成多样化的行动决策，从而显著提升了数据质量。该框架包含四个关键部分：轨迹收集、思维链补全、轨迹增强和代理训练。

性能卓越，超越现有模型

在WindowsAgentArena-V2基准测试中，PC Agent-E实现了241%的性能提升，超越了Claude 3.7 Sonnet的extended thinking模式，成为Windows系统上开源电脑智能体的新一代SOTA（State of the Art，即当前最佳）。

核心功能与技术原理

PC Agent-E的核心功能包括：

• 高效训练： 仅需少量人类标注数据，通过数据增强实现模型性能的显著提升。
• 跨平台泛化： 在OSWorld基准测试中展现出强大的跨平台能力，适用于不同操作系统。
• 任务执行： 支持完成多种复杂任务，如文件操作、软件使用、网页浏览等。
• 数据增强： 基于合成多样化行动决策，丰富轨迹数据，提升模型泛化能力。

其技术原理主要包含以下几个步骤：

1. 轨迹收集（Trajectory Collection）： 使用PC Tracker工具记录人类操作轨迹，包括任务描述、屏幕截图和键盘/鼠标操作。通过简单的标注过程，收集少量高质量的人类操作轨迹。
2. 思维链补全（Thought Completion）： 基于Claude 3.7 Sonnet模型为每个动作步骤添加背后的思考逻辑。通过提供任务描述、历史动作和当前状态，生成符合人类思维的推理过程。
3. 轨迹增强（Trajectory Boost）： 为轨迹的每一步合成更多的动作决策，捕捉任务的多样性。使用Claude 3.7 Sonnet模型，为每一步生成多个合理的动作决策，丰富轨迹数据。
4. 代理训练（Agent Training）： 在开源模型Qwen2.5-VL-72B的基础上进行训练。采用简单的端到端训练框架，确保模型能够高效学习并执行任务。
5. 评估与验证： 在WindowsAgentArena-V2和OSWorld基准测试中验证模型性能，并调整合成动作数量，验证轨迹增强方法对性能提升的关键作用。

应用前景广阔

PC Agent-E的应用场景十分广泛，包括：

• 自动化办公： 自动完成文档编辑、数据分析等任务，提高办公效率。
• 软件测试： 模拟用户操作，发现软件中的错误和问题，提升软件质量。
• 教育辅助： 作为虚拟助教，帮助学生完成计算机操作任务，提供即时指导。
• 辅助残障人士： 提供辅助操作功能，方便残障人士使用计算机。
• 跨平台兼容： 在不同操作系统之间迁移和执行任务，实现无缝切换。

项目地址及资源

研究人员和开发者可以通过以下链接获取更多信息：

• 项目官网： https://gair-nlp.github.io/PC-Agent-E/
• GitHub仓库： https://github.com/GAIR-NLP/PC-Agent-E
• HuggingFace模型库： https://huggingface.co/henryhe0123/PC-Agent-E
• arXiv技术论文： https://arxiv.org/pdf/2505.13909 （注意：原文提供的arXiv链接可能存在问题，2505年的论文是不存在的，需要核实更正。）

结论

PC Agent-E的推出，标志着电脑智能体训练领域取得了重要进展。其高效的训练方法、强大的跨平台能力以及广泛的应用前景，预示着它将在未来的人工智能发展中扮演重要角色。然而，值得注意的是，该框架仍然处于发展阶段，未来的研究方向可能包括进一步提升模型的泛化能力、降低对标注数据的依赖以及探索更多应用场景。

参考文献

• GAIR-NLP. (n.d.). PC Agent-E. Retrieved from https://gair-nlp.github.io/PC-Agent-E/
• GAIR-NLP. (n.d.). PC-Agent-E GitHub Repository. Retrieved from https://github.com/GAIR-NLP/PC-Agent-E
• henryhe0123. (n.d.). PC-Agent-E HuggingFace Model. Retrieved from https://huggingface.co/henryhe0123/PC-Agent-E
• GAIR-NLP. (n.d.). PC Agent-E arXiv Paper. Retrieved from https://arxiv.org/pdf/2505.13909 (需要核实arXiv链接的有效性)

注：

• 请务必核实SII的具体名称，并在文章中补充完整。
• 请核实arXiv论文链接的有效性，并进行更正。
• 可以考虑采访上海交通大学和SII的相关研究人员，以获取更深入的见解和信息。
• 可以进一步探讨PC Agent-E与其他同类框架的比较，以及其潜在的局限性。

>>> Read more <<<

Views: 0