上海，[日期] – 上海人工智能实验室（Shanghai AI Lab）近日开源了其研发的生成式世界模型Aether，该模型旨在通过深度融合三维时空建模与生成式建模，为具身智能系统提供强大的空间推理和决策支持。这一突破性的研究成果，有望在机器人导航、自动驾驶、虚拟现实等多个领域带来革命性的变革。
Aether的核心能力包括4D动态重建、动作条件视频预测和目标导向视觉规划。它能够从视频中重建包含时间和空间的三维场景模型，捕捉动态变化；根据初始观察和动作轨迹预测未来场景的变化；并根据起始和目标场景生成合理路径，辅助智能系统规划行动路线。
技术原理：统一框架，几何感知，多模态融合
Aether的技术原理主要体现在以下几个方面：
- 统一多任务框架： 将动态重建、视频预测和动作规划三项任务融合在一个统一的框架中进行优化，通过任务交错的特征学习，实现不同任务之间的协同优化，提升模型的稳定性和鲁棒性。
- 几何感知建模： 引入三维时空建模，构建几何空间提升模型的空间推理能力。通过海量仿真RGBD数据（彩色图像和深度图），开发一套完整的数据清洗与动态重建流程，标注丰富的动作序列。
- 相机轨迹作为动作表征： 选择相机轨迹作为全局动作的表示方式。在导航任务中，相机轨迹直接对应导航路径；在机器人操作中，手柄相机的运动可以捕捉末端执行器的6D运动。
- 扩散模型与多模态融合： 基于预训练的视频扩散模型，用合成4D数据进行后训练。将深度视频转换为尺度不变的归一化视差表示，将相机轨迹编码为与扩散变换器（DiTs）时空框架对齐的尺度不变射线图序列表示。基于动态整合跨任务和跨模态的条件信号，Aether实现多模态信息的融合和协同优化。
- 零样本泛化能力： Aether完全在虚拟数据上训练，实现了对真实世界的零样本泛化。通过组合不同的条件输入（如观察帧、目标帧和动作轨迹），结合扩散过程，实现了对多种任务的统一建模与生成。这使得模型在没有真实世界数据的情况下，也能迁移到真实场景中表现出色。
应用前景广阔
Aether的开源，无疑将加速其在各个领域的应用。以下是一些潜在的应用场景：
- 机器人导航： 帮助机器人规划路径，避开动态障碍，提高自主移动能力。
- 自动驾驶： 实时重建道路场景，预测交通动态，提升自动驾驶系统的安全性。
- 虚拟现实： 生成沉浸式虚拟场景，增强用户体验，创造更逼真的虚拟世界。
- 工业机器人： 优化机器人操作路径，提高生产效率，降低生产成本。
- 智能监控： 分析监控视频，预测异常行为，提升安防系统的智能化水平。
开源信息
Aether的相关资源已在多个平台上开放：
- 项目官网： https://aether-world.github.io/
- GitHub仓库： https://github.com/OpenRobotLab/Aether
- HuggingFace模型库： https://huggingface.co/AetherWorldModel/AetherV1
- arXiv技术论文： https://arxiv.org/pdf/2503.18945
- 在线体验Demo： https://huggingface.co/spaces/AmberHeart/AetherV1
上海AI Lab表示，希望通过开源Aether，能够促进学术界和工业界的合作，共同推动具身智能技术的发展，为人类创造更美好的未来。
结语
Aether的开源标志着生成式世界模型研究的一个重要里程碑。它不仅展示了上海AI Lab在人工智能领域的强大实力，也为全球的研究者和开发者提供了一个宝贵的工具。随着Aether的不断完善和应用，我们有理由相信，具身智能将在未来的生活中扮演越来越重要的角色。
参考文献
- Aether项目官网: https://aether-world.github.io/
- Aether GitHub仓库: https://github.com/OpenRobotLab/Aether
- Aether HuggingFace模型库: https://huggingface.co/AetherWorldModel/AetherV1
- Aether arXiv技术论文: https://arxiv.org/pdf/2503.18945
Views: 1