北京，2025年1月27日 – 阿里云通义实验室今日凌晨重磅宣布，正式开源支持100万Tokens上下文的Qwen2.5-1M系列模型，并同步推出7B和14B两个版本。这一突破性进展不仅标志着国产大模型在长文本处理能力上迈出了重要一步，更以其卓越的性能和开源的姿态，向业界标杆GPT-4o-mini发起了强有力的挑战。与此同时，阿里云还开源了配套的推理框架，在处理百万级别长文本输入时，实现了高达近7倍的推理速度提升，为开发者和企业提供了更高效、更便捷的工具。
长文本处理能力跃升：百万Tokens的意义
百万Tokens的上下文处理能力，对于大型语言模型而言，具有划时代的意义。简单来说，一个Token可以理解为一段文本的最小单元，例如一个词或一个字符。百万Tokens的容量，意味着模型可以同时处理相当于10本长篇小说、150小时的演讲稿或3万行代码的文本信息。这为大模型在复杂场景下的应用打开了无限可能，例如：
- 深度内容理解： 能够对长篇小说、学术论文、法律文件等进行深入的理解和分析，提取关键信息，并进行总结和推理。
- 复杂代码分析： 可以分析大型代码库，理解代码逻辑，进行代码优化和漏洞检测。
- 多轮对话： 在长时间的对话中，能够记住对话历史，提供更连贯和个性化的回复。
- 多模态融合： 可以整合长篇文本和多媒体信息，进行更全面的内容理解和生成。
Qwen2.5-1M的开源，无疑将极大地推动这些应用的落地和普及，为各行各业带来更智能、更高效的解决方案。
Qwen2.5-1M：性能卓越，超越GPT-4o-mini
Qwen2.5-1M系列模型在长文本处理能力上的表现，令人瞩目。在上下文长度为100万Tokens的“大海捞针”（Passkey Retrieval）任务中，该模型能够准确地从100万Token长度的文档中检索出隐藏信息，即使是7B模型也仅出现了少量错误。这充分展示了其在长文本信息检索方面的强大能力。
更令人惊喜的是，在RULER、LV-Eval等基准对复杂长上下文理解任务的测试中，Qwen2.5-14B-Instruct-1M模型不仅击败了阿里云自家的闭源模型Qwen2.5-Turbo，更稳定超越了GPT-4o-mini。这一结果表明，Qwen2.5-1M系列模型在长文本理解和推理方面，已经达到了国际领先水平，为开发者提供了一个现有长上下文模型的优秀开源替代方案。
推理速度大幅提升：开源框架的贡献
除了强大的模型性能，阿里云还开源了配套的推理框架，该框架在处理百万级别长文本输入时，可实现近7倍的推理速度提升。这一突破性的进展，得益于通义团队在推理引擎上的创新优化：
- 稀疏注意力机制： 基于Minference的稀疏注意力机制，减少了计算量，提高了推理效率。
- 分块预填充： 将长文本分块进行预填充，减少了内存占用，加快了推理速度。
- 集成长度外推方案： 优化了长度外推方案，提高了长文本处理的稳定性。
- 稀疏性优化： 对模型进行稀疏性优化，进一步提高了推理效率。
这些创新技术的应用，使得Qwen2.5-1M系列模型在处理长文本时，不仅性能卓越，而且速度更快，为开发者提供了更流畅的使用体验。
技术突破：从4K到1M的演进之路
Qwen2.5-1M的成功，并非一蹴而就，而是通义团队长期技术积累和不断创新的结果。为了实现百万Tokens的上下文处理能力，通义团队采用了逐步扩展长度的方法：
- 预训练： 从4K上下文长度开始，进行大规模预训练，使模型具备基本的语言理解能力。
- 监督微调： 在预训练的基础上，进行监督微调，进一步提高模型的性能。
- 强化学习： 通过强化学习，优化模型的生成能力和长文本处理能力。
- 长度外推： 创新引入Dual Chunk Attention机制，在无需额外训练的情况下，将上下文长度高性能地稳定扩展到1M。
通过这一系列的技术突破，通义团队在较低成本下，实现了Qwen2.5-1M模型的百万Tokens上下文处理能力。
开源生态：助力开发者和企业
阿里云通义实验室此次开源Qwen2.5-1M系列模型和推理框架，充分体现了其开放、合作的理念。开源不仅能够加速技术的普及和应用，更能促进整个行业的创新和发展。
目前，Qwen2.5-1M模型已经在魔搭社区ModelScope和HuggingFace等平台开源，开发者可以前往下载或直接体验模型。相关的推理框架也已在GitHub上开源，帮助开发者更高效地部署Qwen2.5-1M模型。
此外，开发者和企业还可以通过阿里云百炼平台调用Qwen2.5-Turbo模型API，或是通过全新的Qwen Chat平台体验模型性能及效果。这些开放的平台和工具，为开发者和企业提供了丰富的资源和便利，将有力推动大模型技术的应用和落地。
应用前景：无限可能
Qwen2.5-1M的开源，将为各行各业带来无限的可能：
- 科研领域： 可以用于分析大量的科研文献，加速科研进展。
- 金融领域： 可以用于分析金融报告，进行风险评估和投资决策。
- 法律领域： 可以用于分析法律文件，提供法律咨询和支持。
- 教育领域： 可以用于个性化学习，提供定制化的教育资源。
- 内容创作： 可以用于生成长篇小说、剧本、新闻报道等内容。
- 客户服务： 可以用于处理复杂的客户问题，提供更高效的客户服务。
可以预见，随着Qwen2.5-1M的普及，大模型将在更多领域发挥重要作用，为人类社会带来更智能、更美好的未来。
挑战与展望
尽管Qwen2.5-1M取得了令人瞩目的成就，但我们也要清醒地认识到，大模型技术仍然面临着诸多挑战：
- 计算资源： 大模型的训练和推理需要大量的计算资源，如何降低成本，提高效率，仍然是一个重要课题。
- 数据安全： 如何保障大模型训练数据的安全，防止数据泄露和滥用，是一个亟待解决的问题。
- 伦理问题： 如何规范大模型的使用，防止其被用于恶意目的，是一个需要全社会共同关注的问题。
未来，我们需要在技术创新、伦理规范、政策引导等多方面共同努力，才能更好地发挥大模型技术的潜力，造福人类社会。
阿里云通义实验室此次开源Qwen2.5-1M系列模型，无疑为大模型技术的发展注入了新的活力。我们有理由相信，在开源社区的共同努力下，大模型技术将不断进步，为人类社会带来更美好的未来。
参考链接:
- 演示Demo: https://www.modelscope.cn/studios/Qwen/Qwen2.5-1M-Demo
- Modelscope: https://www.modelscope.cn/organization/Qwen
- Huggingface: https://huggingface.co/Qwen
- 开源框架地址: https://github.com/QwenLM/vllm/tree/dev/dual-chunk-attn
- Qwen Chat体验: https://chat.qwenlm.ai/
参考文献:
- 阿里云通义开源长文本模型及推理框架，百万Tokens处理速度提升近7倍 | 机器之心. (2025, January 27). Retrieved from https://www.jiqizhixin.com/articles/2025-01-27-2
Views: 0