“`markdown
中科大华为联手发布生成式推荐大模型，国产昇腾 NPU 成功部署，揭示扩展定律背后的奥秘
北京，2025年4月6日 – 在信息爆炸的时代，个性化推荐系统已成为人们获取信息、商品和服务的重要途径。近日，中国科学技术大学（中科大）与华为公司联合发布了一项突破性研究成果：一款基于生成式推荐范式的超大规模推荐模型，并成功在国产昇腾 NPU（神经网络处理器）上实现部署。这一成果不仅标志着国产 AI 芯片在复杂推荐系统领域的应用迈出了坚实一步，也为未来推荐系统的发展方向提供了新的思路。
推荐系统的新范式：生成式推荐大模型
长期以来，推荐系统经历了从手工特征工程到深度学习的演进。然而，随着数据规模和用户需求的不断增长，传统推荐模型在扩展性和个性化方面面临挑战。Meta 公司率先提出的生成式推荐范式 HSTU，通过将推荐模型参数扩展至万亿级别，验证了扩展定律在推荐领域的潜力。
中科大与华为的合作，正是基于这一趋势，旨在探索生成式推荐大模型在实际应用中的可行性。研究团队通过深入分析不同架构的生成式推荐模型，揭示了 HSTU 扩展定律的来源，并成功地将传统推荐模型 SASRec 赋予了可扩展性。
扩展定律：推荐系统的未来趋势
扩展定律描述了模型性能与参数规模、数据集规模和训练资源之间的幂律关系。通过增加模型深度和宽度，并结合海量数据，可以显著提升推荐效果。研究团队认为，生成式推荐大模型正在成为颠覆当前推荐系统的下一个新范式。
然而，并非所有模型都具备可扩展性。研究团队对比了 HSTU、Llama、GPT 和 SASRec 四种基于 Transformer 的架构，发现 HSTU 和 Llama 在参数扩展时性能显著提升，而 GPT 和 SASRec 的扩展性不足。这表明，模型架构中专为推荐任务设计的关键组件，对于有效利用扩展定律至关重要。
揭秘 HSTU 的可扩展性来源
为了探究 HSTU 等生成式推荐模型的可扩展性来源，研究团队进行了消融实验，发现相对注意力偏移（RAB）是 HSTU 的关键组件。通过进一步分析，团队发现残差连接模式与 RAB 的结合，为传统推荐模型赋予了扩展性。
这一发现为未来推荐系统的扩展性探索提供了重要启示：通过合理设计模型架构，可以使传统模型也能充分利用扩展定律，从而提升推荐效果。
复杂场景和排序任务中的卓越表现
研究团队还验证了 HSTU 在多域、多行为和辅助信息等复杂场景中的表现。实验结果表明，HSTU 在这些场景中均优于传统推荐模型，尤其在解决冷启动问题上具有潜力。
在排序任务中，生成式推荐大模型同样表现出色，显著优于 DIN 等传统推荐模型。研究团队还深入探讨了负采样率和评分网络架构对排序任务的影响，并进行了全面分析。
国产昇腾 NPU 的成功部署
值得一提的是，该研究成果成功在国产昇腾 NPU 上实现部署。这不仅验证了昇腾 NPU 在处理复杂 AI 任务方面的能力，也为国产 AI 芯片在推荐系统领域的应用开辟了新的道路。
未来展望
展望未来，研究团队指出了数据工程、Tokenizer、训练推理效率等推荐大模型未来研究的潜力方向。这些方向将有助于解决当前的挑战，并拓宽应用场景。
这项研究不仅为推荐系统的发展提供了新的思路，也为国产 AI 芯片的应用带来了新的机遇。随着技术的不断进步，我们有理由相信，未来的推荐系统将更加智能、个性化，为人们带来更加便捷、高效的信息服务。
参考文献：
- 论文链接：https://arxiv.org/abs/2412.00714
- 主页链接：https://github.com/USTC-StarTeam/Awesome-Large-Recommendation-Models
来源：
- 本文部分内容参考自微信公众号：量子位（ID：QbitAI），作者：认知智能全国重点实验室 & 华为诺亚方舟。
“`
Views: 2