群核科技开源SpatialLM，空间理解AI新突破！

北京讯 – 在人工智能领域，让机器拥有类似人类的空间认知能力一直是研究者们孜孜以求的目标。近日，国内科技公司群核科技（酷家乐）开源了其研发的SpatialLM模型，这一举措有望打破传统AI在空间理解上的局限，为具身智能、AR/VR等领域带来革命性的突破。

SpatialLM，全称为Spatial Language Model（空间语言模型），是一种多模态模型，旨在赋予机器人和智能系统更强的空间理解能力。与传统的大语言模型不同，SpatialLM不仅能理解文本，还能通过分析普通手机拍摄的视频，重建出详细的3D场景布局，并标注出房间结构、家具摆放、通道宽度等信息。

技术原理：视频到3D场景的“魔术”

SpatialLM的核心技术在于将视频转化为结构化的3D模型。其工作流程大致如下：

视频输入与点云重建： 利用MASt3R-SLAM技术处理RGB视频，提取关键帧，计算物体深度和位置，生成高密度3D点云模型。
点云编码与特征提取： 将点云数据转化为紧凑的特征向量，保留场景中的几何和语义信息。
大语言模型生成场景代码： 通过大语言模型（LLM），将点云特征转化为结构化的场景代码，包含空间结构的坐标和尺寸，以及物体的语义边界框（例如“沙发 – 长 1.8 米 – 距墙 0.5 米”）。
结构化3D布局生成： 将场景代码转换为结构化的3D场景布局，明确标注物体坐标、尺寸和类别，并可被可视化工具还原为可交互的3D场景。
物理规则嵌入： SpatialLM内置物理常识，确保生成的3D场景符合物理规则，例如“家具不能悬空”、“通道宽度≥0.8米”。

应用场景：从机器人到虚拟世界

SpatialLM的应用潜力广泛，涵盖多个领域：

具身智能训练： 帮助机器人在虚拟环境中进行障碍规避、物体抓取等任务训练。结合群核科技的空间智能训练平台SpatialVerse，机器人可在仿真环境中完成技能学习，形成从认知到行动的闭环。
自动导航： 在机器人导航任务中，实时解析环境中的空间信息，帮助机器人避开障碍物并规划最优路径。
AR/VR领域： 将现实世界的场景快速转化为虚拟环境中的丰富场景，支持增强现实和虚拟现实应用的开发。
建筑设计与规划： 分析建筑物3D点云数据，识别墙体、门窗等结构信息，帮助建筑设计和规划人员更高效地进行设计工作。
教育与培训： 开发教育软件，帮助学生学习3D建模和空间视觉能力，通过直观的3D场景生成和解析，更好地理解空间关系和几何概念。

开源意义：推动AI空间理解的普及

群核科技选择开源SpatialLM，无疑将加速AI在空间理解领域的发展。开源意味着更多的开发者可以免费使用、修改和改进该模型，从而推动技术的普及和创新。

群核科技表示，希望通过开源SpatialLM，降低开发者的数据采集门槛，使更多企业和研究者能够快速开展相关研究。同时，结合群核科技的空间智能训练平台SpatialVerse，将为具身智能领域提供更高效的基础框架。

挑战与展望

尽管SpatialLM具有巨大的潜力，但仍面临一些挑战。例如，如何提高模型在复杂环境下的鲁棒性，如何处理光照、遮挡等问题，以及如何进一步提升3D重建的精度和效率等。

不过，随着技术的不断发展和开源社区的共同努力，相信这些问题都将逐步得到解决。SpatialLM的开源，标志着AI在空间理解领域迈出了重要一步，有望开启具身智能的新纪元。

项目地址：