Skywork AI开源多模态奖励模型！

北京 – 在人工智能领域，如何让机器更好地理解人类的偏好和价值观，一直是研究者们努力攻克的难题。近日，Skywork AI 开源了其多模态奖励模型 Skywork-VL Reward，为解决这一问题带来了新的曙光。该模型旨在为多模态理解和推理任务提供可靠的奖励信号，从而提升人工智能模型的性能和对齐程度。

什么是 Skywork-VL Reward？

Skywork-VL Reward 是一款基于 Qwen2.5-VL-7B-Instruct 架构的多模态奖励模型。简单来说，它就像一个“裁判”，能够评估视觉-语言模型（VLM）生成的输出质量，判断其是否符合人类的偏好。模型通过添加奖励头结构，并使用成对偏好数据进行训练，最终输出一个标量奖励分数，反映生成内容的质量或与人类偏好的对齐程度。

该模型在 VL-RewardBench 和 RewardBench 上分别取得了 73.1 和 90.1 的优异成绩，证明了其在多模态理解和推理方面的强大能力。更重要的是，Skywork-VL Reward 基于混合偏好优化（MPO），能够显著提升多模态推理能力，为多模态强化学习领域带来新的突破。

Skywork-VL Reward 的技术原理

Skywork-VL Reward 的核心技术在于其模型架构、数据集构建和训练方法：

模型架构： 基于 Qwen2.5-VL-7B-Instruct 架构，包含视觉编码器（Vision Transformer）、视觉-语言适配器和语言模型解码器。在此基础上，添加一个奖励头结构，用于输出标量奖励分数。
数据集构建： 整合多个开源偏好数据集（如 LLaVA-Critic-113k、Skywork-Reward-Preference-80K-v0.2、RLAIF-V-Dataset）及内部标注的复杂推理任务数据。通过去重、相似性过滤和偏好判断过滤等步骤，确保数据的高质量和一致性。
训练方法： 基于成对偏好损失函数，比较两个候选响应的优劣训练模型，让模型能学习到相对排名。采用两阶段微调策略，第一阶段用多模态偏好数据进行训练，第二阶段加入纯文本偏好数据，进一步提升模型在纯文本场景下的性能。

Skywork-VL Reward 的应用场景

Skywork-VL Reward 的应用场景非常广泛，涵盖了内容生成评估、推理任务优化、模型对齐、混合偏好优化和基准测试等多个方面：

内容生成评估： 评估多模态内容生成的质量，如图像描述、视频字幕等，判断生成内容是否准确且符合人类偏好。
推理任务优化： 在复杂多模态推理任务中，如视觉问答、几何问题等，评估推理过程和结果的合理性，帮助优化推理模型。
模型对齐： 确保多模态模型的输出与人类价值观和道德标准对齐，避免生成有害或误导性内容。
混合偏好优化（MPO）： 作为 MPO 训练的关键组件，提供高质量偏好数据，提升多模态模型的推理能力和泛化性能。
基准测试： 作为多模态任务的基准测试工具，评估和比较不同模型的性能，推动多模态技术的发展。

专家观点

“Skywork-VL Reward 的开源，对于多模态人工智能的发展具有重要意义。”一位不愿透露姓名的AI领域专家表示，“它不仅提供了一个强大的奖励模型，更重要的是，它为我们提供了一种新的思路，即如何让机器更好地理解和学习人类的价值观和偏好。这对于构建更加安全、可靠和有益的人工智能系统至关重要。”

未来展望

随着人工智能技术的不断发展，多模态理解和推理能力将变得越来越重要。Skywork-VL Reward 的开源，无疑将加速这一进程。我们期待未来能够看到更多基于 Skywork-VL Reward 的创新应用，为人工智能的发展注入更多的“价值观”。

项目地址：