北京—— 随着人工智能技术的飞速发展，大型语言模型（LLM）在处理长文本任务中的应用日益广泛。然而，如何客观、精准地评估这些模型在长文本上的能力，成为了一个亟待解决的关键问题。传统上，困惑度（Perplexity, PPL）作为衡量模型语言理解和生成质量的标准指标，被广泛使用。但近期一项由北京大学、麻省理工学院（MIT）和阿里巴巴的研究团队联合开展的研究表明，困惑度在长文本场景下的适用性存在显著局限性，甚至可能完全误导评估结果。
这项研究揭示了一个令人惊讶的现象：在某些情况下，困惑度指标表现优异的模型，在实际长文本应用中却未能达到预期效果。研究人员通过对9种主流长文本大模型的分析发现，困惑度与模型在长文本任务中的真实表现之间的相关性极低（如图1所示）。这一反常现象引发了人们对困惑度在长文本场景下有效性的质疑。
困惑度为何在长文本中失效？
为了探究困惑度失效的原因，北京大学王奕森团队与MIT、阿里的研究人员展开了深入研究。他们发现，长文本中不同token（词语或子词）对长距离上下文信息的依赖程度存在显著差异。具体而言，那些对长上下文信息依赖较强的token在评估模型的长文本处理性能时起着关键作用，但这类token在自然文本中只占少数。
研究人员指出，困惑度之所以失效，是因为它对所有token进行平均计算，无法充分关注这些与长文本能力关系密切的关键token。这意味着，模型可能在预测不重要的token上表现良好，但在处理需要理解长上下文的关键信息时却表现不佳，从而导致整体困惑度较低，但实际长文本能力不足。
LongPPL：一种更精准的评估指标
为了解决困惑度在长文本评估中的局限性，研究团队提出了一种全新的指标——长文本困惑度（LongPPL）。LongPPL的核心思想是将困惑度的计算限制在长文本的关键token上，从而更准确地反映模型处理长文本的能力。
研究人员首先提出了一种长-短上下文对比的方法，用于自动识别这些关键token。他们通过比较模型在长上下文和短上下文下生成同一token的概率差异，来量化长上下文对模型预测准确度的提升。这种方法能够有效区分依赖长上下文的关键token和不依赖长上下文的token。
通过实验，研究团队发现LongPPL与长文本任务性能表现出极高的相关性（如图1所示），验证了其在评估长文本能力方面的有效性。此外，他们还基于这一设计思想提出了长文本交叉熵损失（LongCE），显著提升了模型通过微调增强长文本处理能力的效果。
研究意义与未来展望
这项研究不仅揭示了传统困惑度指标在长文本评估中的局限性，还提出了一种更精准、更有效的评估方法LongPPL。这一成果对于推动长文本大模型的发展具有重要意义，有助于研究人员和开发者更准确地评估和优化模型在长文本任务中的性能。
研究团队表示，未来他们将继续深入研究长文本能力评估问题，探索更多有效的评估指标和方法，并将其应用于实际应用场景中，推动长文本大模型在各个领域的广泛应用。
参考文献:
- 论文题目: What is Wrong with Perplexity for Long-context Language Modeling?
- 论文地址: https://arxiv.org/abs/2410.23771
- 代码地址: https://github.com/PKU-ML/LongPPL
图 1: 大模型的困惑度 (PPL) 和长文本困惑度 (LongPPL) 与长文本任务集 LongBench 分数的相关性。
图 2: (a) LongEval 任务示意图 (b)(c) LongEval 的答案 / 非答案部分的困惑度与任务表现的相关性。
图 3: LongEval 标准回答中不同类型的 token 按 LSD 分类的分布。
Views: 0