摘要： 微软近日推出了一款名为UFO²的Windows桌面Agent操作系统，旨在通过深度系统集成和自然语言交互，实现复杂桌面任务的自动化。该系统采用多Agent架构，支持在隔离的虚拟桌面中运行，能够显著提升自动化任务的成功率和执行效率，为办公自动化、跨应用工作流和企业任务自动化等领域带来新的可能性。
北京 – 在人工智能技术日新月异的今天，微软再次走在了创新的前沿。该公司最新推出的UFO²，并非传统意义上的操作系统，而是一款面向Windows桌面的多Agent操作系统（AgentOS）。这一创新产品旨在通过深度系统集成和自然语言交互，实现复杂桌面任务的自动化，从而解放生产力，提升工作效率。
UFO²是什么？
UFO²的核心理念是构建一个智能化的桌面环境，通过AI Agent来模拟和自动化用户在Windows桌面上的操作。与传统的自动化脚本或宏不同，UFO²具备更强的智能性和适应性。它能够理解用户的自然语言指令，并将复杂的任务分解为多个步骤，由不同的AppAgent协同完成。
主要功能与技术原理
UFO²的主要功能包括：
- 深度操作系统集成： UFO²能够深度集成到Windows系统中，实现对桌面应用的精细控制，例如精确识别UI元素、调用原生API等。
- 非干扰式用户体验： 为了避免影响用户的工作，UFO²支持在隔离的虚拟桌面中运行，用户和智能体可以同时操作，互不干扰。
- 多轮交互支持： 用户可以通过多轮对话与UFO²进行交互，逐步细化指令或干预智能体的操作，实现更灵活的任务控制。
- 安全保障机制： UFO²具备安全检测机制，能够识别潜在的危险操作，并在执行前提示用户确认，确保用户数据和系统安全。
在技术原理方面，UFO²采用了以下关键技术：
- 多智能体架构： UFO²采用多智能体架构，包括中央HostAgent和多个AppAgent。HostAgent负责解析用户指令、分解任务、调度AppAgent，协调跨应用的执行。AppAgent则针对特定应用，具备应用专用的API、知识库和GUI/API混合动作接口，高效地执行任务。
- 混合控制检测： UFO²结合Windows UI Automation（UIA）APIs提供的结构化数据和基于视觉的检测模型，实现对标准和自定义UI元素的可靠识别，提高了任务执行的准确性。
- 统一GUI/API动作层： 基于Puppeteer模块，UFO²能够动态选择GUI操作或应用原生API调用，优化任务执行路径，减少GUI操作的脆弱性。
- 持续知识整合： UFO²基于检索增强型记忆（RAG）技术，将外部文档和历史执行记录整合到智能体的知识库中，支持智能体在运行时动态学习和改进。
- 推测性多动作执行： UFO²基于单次推理预测多个动作，并在运行时验证这些动作的可行性，减少推理调用频率，提高执行效率。
应用场景展望
UFO²的应用场景十分广泛，涵盖了办公自动化、跨应用工作流、企业任务自动化、智能客服以及教育与培训等多个领域。例如，它可以自动处理Excel数据、编辑Word文档、制作PowerPoint演示文稿，或者协调多个应用完成复杂任务，如从Excel导入数据到Outlook。在企业中，UFO²可以减少人工干预，高效完成数据录入、文件处理等重复性工作。
开源与社区支持
微软已经将UFO²项目开源，并提供了详细的项目地址：
- 项目官网： https://microsoft.github.io/UFO/
- GitHub仓库： https://github.com/microsoft/UFO
- arXiv技术论文： https://arxiv.org/pdf/2504.14603
通过开源，微软希望吸引更多的开发者参与到UFO²的开发和完善中来，共同推动AgentOS技术的发展。
结论
UFO²的推出，标志着微软在人工智能和自动化领域迈出了重要一步。它不仅是一款创新的产品，更是一种全新的工作方式。随着UFO²的不断发展和完善，我们有理由相信，它将为我们的工作和生活带来更多的便利和效率。
参考文献：
- Microsoft UFO² GitHub Repository: https://github.com/microsoft/UFO
- Microsoft UFO² Project Website: https://microsoft.github.io/UFO/
- UFO: A Multi-Agent Operating System for Windows Desktop Automation. arXiv:2504.14603 [cs.AI]. Available: https://arxiv.org/pdf/2504.14603
Views: 2