上海AI Lab发布无编码器3D多模态大模型ENEL

上海，中国 – 上海人工智能实验室（Shanghai AI Lab）近日发布了一款名为ENEL（Exploring the Potential of Encoder-free Architectures in 3D LMMs）的创新型无编码器3D大型多模态模型，旨在解决传统编码器架构在3D理解任务中面临的局限性。该模型通过去除3D编码器，直接将点云数据转换为离散的点标记，并与文本标记拼接后输入大型语言模型（LLM），在多个3D任务中展现出卓越的性能，引发业界广泛关注。

传统3D理解技术的挑战

长期以来，3D数据的理解和处理一直是人工智能领域的一大挑战。传统的3D模型处理方法依赖于编码器架构，但这种架构存在着固有的问题，例如点云分辨率的限制以及语义嵌入的不匹配，这些问题严重制约了3D模型在实际应用中的效果。

ENEL：无编码器架构的创新突破

ENEL模型的核心创新在于其无编码器架构。它摒弃了传统的3D编码器，直接将点云数据转换为离散的点标记，与文本标记拼接后输入大型语言模型（LLM）。这种方法有效地避免了传统编码器架构的限制，实现了点云与文本模态之间的高效语义对齐。

ENEL模型通过两种关键策略实现高效语义编码和几何结构理解：

LLM嵌入的语义编码策略： 通过混合语义损失（Hybrid Semantic Loss）提取高级语义，使得模型能够理解3D对象的深层含义。
分层几何聚合策略： 使LLM能够关注点云的局部细节，从而实现对复杂3D结构的精细理解。

性能卓越，媲美更大规模模型

ENEL的7B模型在多个3D任务上表现出色，包括3D对象分类、3D对象字幕生成和3D视觉问答（VQA）。在Objaverse基准测试中，ENEL-7B的字幕生成任务GPT分数达到50.92%，分类任务达到55.0%，在3D MM-Vet数据集的VQA任务中达到42.7%，均与现有的13B模型（如ShapeLLM）相当。这表明ENEL在语义编码方面表现出色，能更好地捕捉点云与文本之间的语义相关性。

ENEL的主要功能与技术原理

无编码器架构： 避免了编码器架构中常见的点云分辨率限制和语义嵌入不匹配问题。
高级语义提取： 通过LLM嵌入的语义编码策略，在预训练阶段引入混合语义损失，能提取点云的高级语义特征，同时保留关键的几何结构。
局部几何感知： 在指令调优阶段，ENEL采用分层几何聚合策略，使LLM能主动感知点云的局部细节。
多任务3D理解： ENEL在多个3D任务上表现出色，7B模型在Objaverse基准测试中达到了55.0%的分类准确率和50.92%的字幕生成GPT分数。
高效语义对齐： 通过无编码器架构实现了点云与文本模态之间的高效语义对齐。

在技术原理上，ENEL主要依赖于以下两点：

LLM嵌入的语义编码（LLM-embedded Semantic Encoding）： 通过探索不同的点云自监督损失，提出了一种混合语义损失，将点云的高级语义信息嵌入到LLM中。
分层几何聚合（Hierarchical Geometry Aggregation）： 通过在LLM的早期层中对点云进行聚合和传播操作，将归纳偏置融入LLM，能关注点云的局部细节。

广泛的应用前景

ENEL模型的发布，为3D理解技术的发展带来了新的可能性。其潜在应用场景包括：

3D对象分类： 适用于工业自动化、机器人视觉和自动驾驶等领域，能快速识别和分类复杂的3D物体。
3D对象字幕生成： 可用于生成对3D模型的描述性文本，帮助用户快速理解3D场景中的关键信息，适用于虚拟现实（VR）、增强现实（AR）以及3D建模工具中。
3D视觉问答（VQA）： 能回答与3D场景相关的问题，例如在医学影像分析、建筑设计和教育领域中，帮助用户快速获取3D数据中的关键信息。
复杂3D几何结构理解： 适用于需要精确理解复杂几何形状的场景，如航空航天、汽车制造和珠宝设计等领域，能帮助工程师和设计师更好地理解和优化3D模型。

开放资源与未来展望

上海AI Lab已经公开了ENEL的项目地址，包括Github仓库（https://github.com/Ivan-Tang-3D/ENEL）和arXiv技术论文（https://arxiv.org/pdf/2502.09620），鼓励研究人员和开发者积极参与，共同推动3D理解技术的发展。

ENEL模型的推出，不仅是上海AI Lab在人工智能领域的一项重要成果，也预示着3D理解技术将迎来新的发展机遇。未来，随着技术的不断完善和应用场景的不断拓展，ENEL有望在各个领域发挥更大的作用，为人们的生活和工作带来更多便利。

参考文献