阿里Qwen联手复旦，发布WorldPM偏好模型

摘要： 阿里巴巴Qwen团队与复旦大学联合推出WorldPM偏好建模模型系列，该模型基于大规模训练数据，旨在提升AI在对话系统、推荐系统等领域的性能。WorldPM通过学习人类偏好模式，增强模型的泛化能力和鲁棒性，为自然语言处理应用带来新的可能性。

上海 – 在人工智能领域，偏好建模一直是研究的热点。近日，阿里巴巴Qwen团队与复旦大学联合发布了WorldPM（World Preference Modeling）偏好建模模型系列，引起了业界的广泛关注。这一合作成果旨在通过大规模训练，揭示偏好模型的可扩展性，并为自然语言处理（NLP）领域的应用提供更强大的支持。

WorldPM是什么？

WorldPM是由阿里巴巴Qwen团队和复旦大学共同开发的偏好建模模型系列。该模型基于1500万条偏好数据进行训练，旨在学习人类的偏好模式，形成统一的偏好表示。研究团队发现，偏好模型在客观领域表现出明显的幂律下降趋势，而在主观领域则因多维度特性难以呈现单一的扩展趋势。

该项目提供了72B规模的基础模型和多个针对特定数据集微调的版本，以满足不同应用场景的需求。其中，WorldPM-72B-HelpSteer2适用于需要精确偏好判断的特定任务，WorldPM-72B-UltraFeedback适合处理大规模用户反馈场景，而WorldPM-72B-RLHFLow则专为低资源偏好建模设计，适合数据量较少的场景。

WorldPM的技术原理

WorldPM的技术原理主要包括以下几个方面：

偏好数据收集与处理： WorldPM从公共论坛（如StackExchange、Reddit等）收集用户生成的偏好数据。这些数据基于用户对不同回答的投票机制自然地形成偏好对。
大规模训练与规模定律： WorldPM借鉴语言建模中的规模定律，即模型性能随着模型参数规模和训练数据量的增加而提升。通过在不同规模的模型（从1.5B到72B参数）上进行训练，WorldPM探索了偏好建模的规模扩展潜力。实验表明，在对抗性和客观性评估任务中，模型性能随着训练数据和模型规模的增加显著提升。
偏好建模框架： WorldPM基于二元偏好对的建模框架。对于每一对偏好样本，模型计算每个回答的奖励分数，优化基于Bradley-Terry模型的BT损失函数来学习偏好模式。
风格偏好分析与控制： 为了应对主观偏好评估中的风格偏好问题，研究团队引入了风格偏好分析和控制机制。基于分离风格特征（如文本长度、Markdown格式等）和内容特征，模型能更准确地评估偏好，减少风格因素对评估结果的干扰。
模型扩展与微调： WorldPM可以直接用于偏好评估，或作为其他模型的初始化基础，用于进一步的偏好微调。通过在不同规模的人类偏好数据集上进行微调，WorldPM能进一步提升模型的性能，特别是在数据有限的情况下表现出显著的性能提升。

WorldPM的应用场景

WorldPM的强大偏好建模能力使其在多个领域具有广泛的应用前景：

语言生成优化： 提升AI生成的文本的自然度和符合人类偏好的程度，例如提高聊天机器人的回复质量。
个性化推荐： 根据用户偏好推荐内容，如文章、视频或音乐，提高推荐的准确性和用户满意度。
智能客服改进： 帮助智能客服更好地理解用户需求，生成更符合用户期望的回复，提升用户体验。
内容审核与安全： 识别并过滤掉错误或有害信息，确保内容的安全性和可靠性。
多模态应用： 扩展到图像和视频等多模态内容的偏好建模，优化内容生成和审核。

专家观点

“WorldPM的发布是偏好建模领域的一个重要里程碑，”一位不愿透露姓名的NLP专家表示，“它不仅展示了大规模训练在偏好建模中的潜力，也为开发更智能、更人性化的AI应用提供了新的思路。”

未来展望

WorldPM的推出为自然语言处理中的对话系统、推荐系统等任务提供了强大的偏好建模能力，有望助力相关领域的发展。随着研究的深入和应用的推广，WorldPM有望在更多领域发挥重要作用，推动人工智能技术的进步。

项目地址

GitHub仓库：https://github.com/QwenLM/WorldPM
HuggingFace模型库：https://huggingface.co/Qwen/WorldPM-72B
arXiv技术论文：https://arxiv.org/pdf/2505.10527

结语

WorldPM的发布是阿里巴巴Qwen团队与复旦大学在人工智能领域合作的又一重要成果。它不仅为偏好建模领域带来了新的突破，也为开发更智能、更人性化的AI应用提供了新的可能性。随着研究的深入和应用的推广，WorldPM有望在更多领域发挥重要作用，推动人工智能技术的进步。

参考文献

QwenLM/WorldPM GitHub repository: https://github.com/QwenLM/WorldPM
Qwen/WorldPM-72B HuggingFace model repository: https://huggingface.co/Qwen/WorldPM-72B
WorldPM arXiv technical paper: https://arxiv.org/pdf/2505.10527 (Note: Please verify the actual arXiv link when available)

>>> Read more <<<