交大联手SII，Agent-E智能体训练框架重磅发布！

上海—— 上海交通大学与SII（具体指哪个机构请补充）联合推出了一款名为PC Agent-E的智能体训练框架，该框架旨在提升电脑智能体的性能和泛化能力，特别是在Windows操作系统上的应用。该研究成果已在WindowsAgentArena-V2基准测试中取得显著进展，性能提升高达241%，超越了Claude 3.7 Sonnet的extended thinking模式，成为Windows系统上开源电脑智能体的新一代SOTA（State-of-the-Art）。

PC Agent-E：高效训练与跨平台泛化的利器

PC Agent-E的核心优势在于其高效的训练方法和强大的跨平台泛化能力。该框架仅需312条人类标注的计算机使用轨迹，即可通过数据增强显著提升模型性能。这得益于其独特的设计，包含轨迹收集、思维链补全、轨迹增强和代理训练四个关键部分。

轨迹收集： 使用PC Tracker工具记录人类操作轨迹，包括任务描述、屏幕截图和键盘/鼠标操作。这种简单高效的标注过程保证了少量高质量的人类操作轨迹的获取。
思维链补全： 借助Claude 3.7 Sonnet模型，为每个动作步骤添加背后的思考逻辑。通过提供任务描述、历史动作和当前状态，生成符合人类思维的推理过程，增强了智能体的决策能力。
轨迹增强： 利用Claude 3.7 Sonnet模型，为轨迹的每一步合成更多的动作决策，捕捉任务的多样性。这有效地丰富了轨迹数据，提升了模型的泛化能力。
代理训练： 基于开源模型Qwen2.5-VL-72B进行训练。采用简单的端到端训练框架，确保模型能够高效学习并执行任务。

除了在Windows平台上的优异表现，PC Agent-E还在OSWorld基准测试中展示了强大的跨平台能力，适用于不同的操作系统。这意味着该框架具有广泛的应用前景，能够完成多种复杂任务，例如文件操作、软件使用、网页浏览等。

技术原理与评估验证

PC Agent-E的技术原理围绕着数据增强和模型训练展开。通过合成多样化的行动决策，该框架能够显著提升数据质量，从而提高模型的性能。

为了验证模型性能，研究团队在WindowsAgentArena-V2和OSWorld基准测试中进行了评估。通过调整合成动作数量，他们验证了轨迹增强方法对性能提升的关键作用。

应用场景展望

PC Agent-E的应用场景十分广泛，涵盖了自动化办公、软件测试、教育辅助和辅助残障人士等多个领域：

自动化办公： 自动完成文档编辑、数据分析等任务，提高办公效率。
软件测试： 模拟用户操作，发现软件中的错误和问题，提升软件质量。
教育辅助： 作为虚拟助教，帮助学生完成计算机操作任务，提供即时指导。
辅助残障人士： 提供辅助操作功能，方便残障人士使用计算机。

此外，PC Agent-E的跨平台兼容性使其能够在不同操作系统之间迁移和执行任务，实现无缝切换，为用户带来更加便捷的使用体验。

项目地址与资源

对PC Agent-E感兴趣的读者可以访问以下链接获取更多信息：

项目官网： https://gair-nlp.github.io/PC-Agent-E/
GitHub仓库： https://github.com/GAIR-NLP/PC-Agent-E
HuggingFace模型库： https://huggingface.co/henryhe0123/PC-Agent-E
arXiv技术论文： https://arxiv.org/pdf/2505.13909 (请注意，链接中的年份2505应为2025或更早，请核实)

结论

PC Agent-E的推出标志着电脑智能体训练领域的一项重要进展。其高效的训练方法、强大的跨平台泛化能力以及广泛的应用前景，使其有望成为未来智能办公和人机交互的重要组成部分。随着人工智能技术的不断发展，我们有理由相信，PC Agent-E将在未来的智能体研究和应用中发挥更大的作用。

下一步研究方向建议

进一步探索PC Agent-E在更复杂、更真实的场景中的应用潜力。
研究如何将PC Agent-E与其他AI技术（例如，自然语言处理、计算机视觉）相结合，以实现更高级的智能功能。
关注PC Agent-E的安全性问题，确保其在实际应用中不会对用户造成任何风险。

参考文献

GAIR-NLP. (2024). PC Agent-E: An Efficient Framework for Training Computer Agents. Retrieved from https://gair-nlp.github.io/PC-Agent-E/
GAIR-NLP. (2024). PC-Agent-E GitHub Repository. Retrieved from https://github.com/GAIR-NLP/PC-Agent-E
Henryhe0123. (2024). PC-Agent-E HuggingFace Model. Retrieved from https://huggingface.co/henryhe0123/PC-Agent-E
GAIR-NLP. (2024). PC Agent-E arXiv Paper. Retrieved from https://arxiv.org/pdf/2505.13909 (请注意，链接中的年份2505应为2025或更早，请核实)

注意: