北大OmniManip破幻觉，机器人3D理解跃升

好的，这是一篇根据你提供的信息撰写的新闻稿，力求达到你所要求的专业性和深度：

标题：化解机器人“幻觉”：北大发布OmniManip，VLM结合双闭环系统，3D理解能力大幅提升

引言：

在人工智能的浪潮中，视觉语言模型（VLMs）正以前所未有的速度发展，它们在多模态理解和高层次常识推理方面展现出惊人的能力。然而，如何将这些强大的模型应用于机器人领域，实现通用操作，一直是具身智能领域的核心挑战。近日，北京大学与智元机器人联合实验室发布了名为OmniManip的新架构，通过巧妙地结合VLM与双闭环系统，显著提升了机器人的3D理解能力，为解决机器人“幻觉”问题带来了新的曙光。

正文：

近年来，VLMs在图像和文本理解方面取得了巨大进展，但将其应用于机器人操作仍面临两大关键障碍。首先，VLMs主要基于2D图像和文本进行训练，缺乏精确的3D理解能力，这使得它们在处理真实世界中的复杂空间关系时显得力不从心。其次，VLMs通常输出高层次的指令，难以直接转化为机器人所需的低层次动作。虽然在机器人数据上微调VLMs以获得视觉-语言-动作（VLA）模型是一种潜在的解决方案，但数据收集的高成本和泛化能力的局限性仍然是亟待解决的问题。

针对这些挑战，北京大学与智元机器人联合实验室的研究团队提出了OmniManip架构。该架构的核心创新在于：

基于VLM的任务解析： OmniManip利用VLM强大的常识推理能力，将复杂的任务分解为多个结构化的阶段。每个阶段明确指定了主动物体（Active）、被动物体（Passive）和动作类型（Action）。这种分解方式使得机器人能够更清晰地理解任务目标，并为后续的动作规划奠定基础。
以物体为中心的交互基元作为空间约束： OmniManip通过3D基座模型生成任务相关物体的3D模型和规范化空间。VLM可以直接在该空间中采样3D交互基元，作为动作的空间约束。这些交互基元包含了物体关键的交互位置和方向，能够有效地指导机器人的操作，并优化主动物体在被动物体规范坐标系下的目标交互姿态。
闭环VLM规划： 为了解决VLM在规划过程中可能出现的“幻觉”问题，OmniManip引入了闭环规划机制。通过渲染目标交互姿态下的物体图像，VLM可以评估和调整自身的规划结果，实现对自身规划的闭环调整。这种反思能力大大提高了VLM规划的准确性，尤其是在涉及3D旋转等复杂任务中。
闭环机器人执行： OmniManip通过物体6D姿态跟踪器实时更新主动和被动物体的位姿，并将这些信息转换为机械臂末端执行器的操作轨迹，从而实现闭环执行。这种实时反馈机制确保了机器人操作的精确性和稳定性。

技术细节深入：

交互基元的定义： OmniManip将交互基元定义为物体在标准空间中的交互点和方向。交互点表示物体上关键的交互位置，而交互方向则代表与任务相关的主要轴。这些基元封装了满足任务约束的基本几何和功能属性，使得操作策略更具通用性和可重用性。
交互点和方向的提取： OmniManip利用VLM在原图或渲染的3D网格上进行交互点的定位，避免了传统方法中不稳定的分割或聚类结果。在交互方向的采样方面，OmniManip让VLM直接对物体标准空间的轴进行语义描述，并根据操作任务进行匹配度排序，从而获得交互方向的候选。
双闭环系统的优势： 与以往的研究不同，OmniManip首次在VLM规划和机器人执行层面实现了双闭环系统。闭环规划赋予了VLM空间反思能力，使其能够对自身的规划结果进行校验。闭环执行则确保了机器人操作的实时性和准确性。

实验结果与展望：

实验结果表明，OmniManip作为一种免训练的开放词汇操作方法，在各种机器人操作任务中展现出强大的零样本泛化能力。这表明，通过巧妙地结合VLM和双闭环系统，可以有效地解决机器人操作中的“幻觉”问题，并为实现通用机器人操作迈出了重要一步。

该项目的研究团队已经上线了项目主页和论文，并计划开源代码和测试平台，这将为具身智能领域的研究人员提供宝贵的资源和启示。

结论：

北京大学与智元机器人联合实验室的OmniManip架构，通过引入以物体为中心的交互基元和双闭环系统，为解决机器人“幻觉”问题提供了新的思路。这项研究不仅提升了机器人的3D理解能力和操作精度，也为未来通用机器人的发展奠定了坚实的基础。随着技术的不断进步，我们有理由相信，未来的机器人将能够更好地理解人类的指令，并在各种复杂环境中执行任务。

参考文献：