中兴通讯突破！大模型推理上限再攀高峰

摘要： 近年来，大型语言模型（LLM）在推理能力方面取得了显著进展，“思维链（Chain of Thought，CoT）”已成为提升模型推理性能的关键技术。然而，如何使小型模型具备长链推理能力仍然是一个挑战。中兴通讯无线研究院“大模型深潜团队”另辟蹊径，从“数据静态经验流”的角度出发，创新性地提出了“LLM自适应题目难度蒸馏”方法，显著提升了高质量CoT语料的生产效率和效果，为小模型长链推理能力的提升开辟了新路径。

引言：CoT的崛起与小模型的困境

大型语言模型（LLM）的出现，极大地推动了人工智能领域的发展。LLM在自然语言处理、文本生成、机器翻译等多个任务中表现出色，尤其是在推理能力方面，更是展现出了惊人的潜力。“思维链（Chain of Thought，CoT）”作为一种有效的提升LLM推理能力的方法，受到了广泛关注。CoT通过引导模型逐步生成中间推理步骤，模拟人类的思考过程，从而提高最终答案的准确性。

然而，CoT方法在小型模型上的应用却面临诸多挑战。与大型模型相比，小型模型的参数量和计算资源有限，难以有效地学习和利用CoT提供的长链推理信息。因此，如何使小型模型具备长链推理能力，成为了当前研究的热点和难点。

中兴通讯“大模型深潜团队”的创新突破

面对这一挑战，中兴通讯无线研究院“大模型深潜团队”没有止步于传统的蒸馏方法，而是深入分析了CoT数据生成过程中的关键问题，并提出了创新的解决方案。该团队从“数据静态经验流”的角度出发，认为CoT数据的质量直接影响模型的推理能力。因此，他们专注于提升CoT数据的质量，并首创了“LLM自适应题目难度蒸馏”方法。

该方法的核心思想是：根据LLM对题目的理解程度，自适应地调整题目的难度，从而生成更具挑战性和信息量的CoT数据。通过这种方式，可以有效地提高CoT数据的质量，并使小型模型能够更好地学习和利用这些数据。

“LLM自适应题目难度蒸馏”方法的原理与优势

“LLM自适应题目难度蒸馏”方法主要包括以下几个关键步骤：

1. 题目难度评估： 首先，利用LLM对题目的难度进行评估。评估的标准可以包括题目的复杂程度、所需推理步骤的数量、以及LLM对题目的理解程度等。
2. 难度自适应调整： 根据LLM对题目的难度评估结果，自适应地调整题目的难度。对于LLM容易理解的题目，可以增加题目的复杂程度，例如增加约束条件、引入干扰信息等。对于LLM难以理解的题目，可以降低题目的难度，例如将复杂问题分解为多个简单问题、提供更详细的背景信息等。
3. CoT数据生成： 利用调整后的题目，生成高质量的CoT数据。在生成CoT数据时，可以采用多种策略，例如引导LLM逐步生成中间推理步骤、鼓励LLM进行多角度思考等。
4. 模型训练： 利用生成的高质量CoT数据，训练小型模型。通过这种方式，可以使小型模型更好地学习和利用CoT提供的长链推理信息，从而提高模型的推理能力。

与传统的蒸馏方法相比，“LLM自适应题目难度蒸馏”方法具有以下显著优势：

• 提高CoT数据质量： 通过自适应地调整题目的难度，可以生成更具挑战性和信息量的CoT数据，从而提高CoT数据的质量。
• 提升模型推理能力： 利用高质量的CoT数据，可以使小型模型更好地学习和利用CoT提供的长链推理信息，从而提高模型的推理能力。
• 提高数据生成效率： 通过自适应地调整题目的难度，可以避免生成大量无用的CoT数据，从而提高数据生成效率。

实验结果：超越R1蒸馏，长CoT语料质量飞升

为了验证“LLM自适应题目难度蒸馏”方法的有效性，中兴通讯“大模型深潜团队”进行了一系列实验。实验结果表明，该方法在多个数据集上均取得了显著的性能提升。

具体来说，与传统的R1蒸馏方法相比，“LLM自适应题目难度蒸馏”方法能够显著提高CoT语料的质量，并使小型模型在推理任务中取得更好的性能。例如，在某个数据集上，使用“LLM自适应题目难度蒸馏”方法训练的小型模型，其推理准确率比使用R1蒸馏方法训练的小型模型提高了10个百分点以上。

此外，实验结果还表明，“LLM自适应题目难度蒸馏”方法能够有效地提高CoT数据的生成效率。通过自适应地调整题目的难度，可以避免生成大量无用的CoT数据，从而节省计算资源和时间成本。

论文与开源：助力社区共同发展

为了让更多的研究者和开发者能够受益于这项创新技术，中兴通讯“大模型深潜团队”将他们的研究成果整理成论文，并发布在预印本平台arXiv上。论文标题为：Rethinking the Generation of High-Quality CoT Data from the Perspective of LLM-Adaptive Question Difficulty Grading。论文链接为：https://arxiv.org/pdf/2504.11919

此外，该团队还开源了相关的代码和数据，供社区免费使用。开源链接如下：代码数据：https://huggingface.co/datasets/ZTE-AIM/32BLLMAdaptiveCode_data

通过发布论文和开源代码数据，中兴通讯“大模型深潜团队”希望能够与社区共同发展，共同推动LLM推理技术的发展。

“大模型深潜团队”的未来展望

中兴通讯无线研究院“大模型深潜团队”是一支充满活力和创新精神的团队。团队成员毕业于中国科学技术大学、中国科学院软件研究所等知名高校与科研院所，拥有扎实的理论基础和丰富的实践经验。

团队重点攻关方向包括：

• 推理模型构建：蒸馏与强化学习方法
• 无线通信故障定位与根因分析推理模型
• 多模态推理模型
• 推理加速技术

未来，该团队将继续深耕LLM推理领域，探索更多创新性的方法和技术，为LLM在各个领域的应用提供更强大的支持。

结论：开启小模型长链推理新纪元

中兴通讯无线研究院“大模型深潜团队”首创的“LLM自适应题目难度蒸馏”方法，为小模型长链推理能力的提升开辟了新路径。该方法通过自适应地调整题目的难度，显著提高了CoT数据的质量和生成效率，并使小型模型在推理任务中取得了显著的性能提升。

该方法的成功，不仅为LLM推理技术的发展做出了重要贡献，也为其他相关领域的研究提供了新的思路和借鉴。相信在不久的将来，随着LLM推理技术的不断发展，我们将能够看到更多更强大的LLM应用，为人类社会带来更多的便利和价值。

参考文献：

• Rethinking the Generation of High-Quality CoT Data from the Perspective of LLM-Adaptive Question Difficulty Grading. https://arxiv.org/pdf/2504.11919
• ZTE-AIM/32BLLMAdaptiveCodedata. https://huggingface.co/datasets/ZTE-AIM/32BLLMAdaptiveCodedata

补充说明：

本文旨在对中兴通讯无线研究院“大模型深潜团队”在LLM推理领域取得的创新成果进行报道和解读。为了确保内容的准确性和客观性，本文参考了该团队发布的论文和开源代码数据，并咨询了相关领域的专家。

希望本文能够帮助读者更好地了解LLM推理技术的发展现状和未来趋势，并为相关领域的研究者和开发者提供有价值的参考。

致谢：

感谢中兴通讯无线研究院“大模型深潜团队”对本文提供的支持和帮助。

（完）

>>> Read more <<<

Views: 1