“`markdown

小红书联手西安交大突破OpenAI技术壁垒，开源“DeepEyes”多模态深度思考模型，让“用图思考”不再是OpenAI专属

摘要： OpenAI未公开的o3“用图思考”技术，凭借其将图像直接融入推理过程的能力，在多模态模型领域取得了突破性进展。然而，这项技术的具体实现细节一直秘而不宣。近日，小红书团队联合西安交通大学，成功研发出多模态深度思考模型“DeepEyes”，首次实现了与o3类似的“用图像思考”能力，并开源了相关技术细节，打破了OpenAI在该领域的垄断，为多模态人工智能的发展注入了新的活力。

正文：

在人工智能领域，多模态模型的探索一直是研究的热点。这类模型旨在模拟人类的认知方式，能够同时处理和理解来自不同模态的信息，如文本、图像、音频等。OpenAI推出的o3推理模型，正是多模态模型领域的一项重要突破。它打破了传统文字思维链的边界，首次实现了将图像直接融入推理过程，赋予了模型“看图”和“用图思考”的能力。

o3的出现，开启了视觉与文本推理深度融合的问题求解方式。例如，面对一张物理试卷图像，o3能够自动聚焦公式区域，分析变量关系，并结合知识库推导出答案。在解析建筑图纸时，o3可以在推理过程中旋转或裁剪局部结构，判断承重设计是否合理。这种“Thinking with Images”的能力，使得o3在视觉推理基准测试V* Bench上准确率飙升至95.7%，刷新了多模态模型的推理上限。

然而，OpenAI对于o3技术的具体实现细节一直保持缄默，这给学界和工业界带来了巨大的挑战。如何赋予模型“用图思考”的能力，成为了一个亟待解决的问题。

面对这一挑战，小红书团队联合西安交通大学，展开了深入的研究和探索。他们另辟蹊径，采用端到端强化学习的方法，在完全不依赖监督微调（SFT）的前提下，成功激发了大模型“以图深思”的潜能，构建出多模态深度思考模型DeepEyes。这一成果，首次实现了与o3类似的用图像进行思考的能力，并已同步开源相关技术细节，让“用图像思考”不再是OpenAI专属。

DeepEyes：打破技术壁垒，实现“用图思考”

DeepEyes模型的成功研发，标志着中国在多模态人工智能领域取得了重要的进展。它不仅打破了OpenAI的技术壁垒，也为多模态人工智能的发展提供了新的思路和方法。

DeepEyes模型的核心在于其能够将图像信息深度融入推理过程。它不仅仅是简单地“看图”，而是能够理解图像中的语义信息，并将其与文本信息相结合，进行复杂的推理和判断。

为了实现这一目标，小红书团队和西安交通大学的研究人员采用了端到端强化学习的方法。这种方法不需要大量的标注数据，而是通过让模型与环境进行交互，不断学习和优化自身的策略。

具体来说，DeepEyes模型通过以下几个步骤实现“用图思考”：

图像理解： 模型首先需要对输入的图像进行理解，提取图像中的特征信息。这通常需要借助卷积神经网络（CNN）等图像处理技术。
文本理解： 模型还需要对输入的文本信息进行理解，提取文本中的语义信息。这通常需要借助Transformer等自然语言处理技术。
信息融合： 模型将图像和文本的特征信息进行融合，形成一个统一的表示。这可以通过注意力机制等方法实现，使得模型能够关注到图像和文本中最重要的信息。
推理判断： 模型基于融合后的信息进行推理和判断，最终得出结论。这可以通过循环神经网络（RNN）或Transformer等序列模型实现，使得模型能够进行多步推理。

通过以上步骤，DeepEyes模型能够有效地利用图像信息进行推理，解决各种复杂的问题。例如，在图像问答任务中，DeepEyes模型能够根据图像内容回答用户提出的问题。在视觉推理任务中，DeepEyes模型能够根据图像信息进行逻辑推理，判断图像中是否存在某种关系。

DeepEyes的开源：推动多模态人工智能发展

小红书团队和西安交通大学不仅成功研发了DeepEyes模型，还将其开源，这对于多模态人工智能的发展具有重要的意义。

开源意味着任何人都可以免费使用、修改和分发DeepEyes模型的代码和数据。这可以极大地促进多模态人工智能的研究和应用，加速相关技术的发展。

通过开源，DeepEyes模型可以吸引更多的研究人员和开发者参与其中，共同改进和完善模型。这可以使得DeepEyes模型在性能和功能上不断提升，更好地服务于社会。

此外，开源还可以促进多模态人工智能技术的普及。通过开源，更多的企业和机构可以了解和使用DeepEyes模型，将其应用到各种实际场景中，解决各种实际问题。

例如，DeepEyes模型可以应用于智能客服领域，帮助客服人员更好地理解用户的问题，并提供更准确的答案。DeepEyes模型还可以应用于智能安防领域，帮助安保人员更好地监控监控画面，及时发现异常情况。DeepEyes模型还可以应用于智能医疗领域，帮助医生更好地诊断病情，制定更有效的治疗方案。

DeepEyes的未来：探索多模态人工智能的无限可能

DeepEyes模型的成功研发和开源，为多模态人工智能的发展注入了新的活力。然而，多模态人工智能的研究仍然面临着许多挑战。

例如，如何更好地融合不同模态的信息，如何提高模型的鲁棒性和泛化能力，如何解决多模态数据的稀疏性和噪声问题等。

未来，小红书团队和西安交通大学将继续深入研究多模态人工智能技术，探索多模态人工智能的无限可能。

他们将致力于研发更加先进的多模态模型，提高模型的性能和功能。他们将致力于解决多模态人工智能面临的各种挑战，推动多模态人工智能技术的进步。他们将致力于将多模态人工智能技术应用到更多的实际场景中，为社会创造更大的价值。

DeepEyes模型的出现，仅仅是多模态人工智能发展的一个开端。相信在不久的将来，多模态人工智能将会取得更大的突破，为人类带来更加美好的未来。

专家观点：

“DeepEyes模型的成功研发，是多模态人工智能领域的一项重要突破。它打破了OpenAI的技术垄断，为多模态人工智能的发展提供了新的思路和方法。DeepEyes模型的开源，将极大地促进多模态人工智能的研究和应用，加速相关技术的发展。”——某人工智能领域专家

“DeepEyes模型在图像理解和文本理解方面都表现出色，能够有效地融合不同模态的信息，进行复杂的推理和判断。它在图像问答和视觉推理等任务中取得了良好的效果，具有很高的应用价值。”——某计算机视觉领域专家

“DeepEyes模型的研发团队采用了端到端强化学习的方法，这是一种很有前景的方法。它不需要大量的标注数据，而是通过让模型与环境进行交互，不断学习和优化自身的策略。这种方法可以有效地提高模型的鲁棒性和泛化能力。”——某机器学习领域专家

结论：

小红书团队联合西安交通大学研发的DeepEyes模型，成功实现了与OpenAI的o3模型类似的“用图思考”能力，并开源了相关技术细节，打破了OpenAI在该领域的垄断。DeepEyes模型的出现，为多模态人工智能的发展注入了新的活力，也为我们探索多模态人工智能的无限可能提供了新的契机。未来，我们期待看到更多类似DeepEyes的创新成果，共同推动人工智能技术的进步，为人类社会带来更大的福祉。

参考文献：