北京 – 百度于今日正式宣布开源其文心大模型4.5系列，这一举措旨在推动人工智能技术的普及和创新，为开发者和企业提供强大的AI能力支持。此次开源包含10款模型，涵盖了47B和3B参数规模的混合专家（MoE）模型以及0.3B稠密参数模型，其中最大模型总参数量高达424B。用户现在可以通过文心一言平台体验最新的开源能力。
此次开源的文心4.5系列模型，包括预训练权重和推理代码，已全面开放至Hugging Face、GitHub和飞桨星河社区。开发者可以通过这些平台获取模型资源，并查阅详细的技术报告。
技术亮点：多模态混合专家模型与高效训练推理框架
文心4.5系列模型的核心技术亮点在于其多模态混合专家模型预训练。该模型通过在文本和视觉两种模态上进行联合训练，能够更好地捕捉多模态信息中的细微差别，从而提升在文本生成、图像理解以及多模态推理等任务中的表现。
百度创新性地提出了一种多模态异构混合专家模型结构，结合了多维旋转位置编码，并在损失函数计算时，增强了不同专家间的正交性，同时对不同模态间的词元进行平衡优化，最终达到多模态相互促进提升的目的。这种架构尤其适用于从大语言模型向多模态模型的持续预训练范式，在保持甚至提升文本任务性能的基础上，显著增强多模态理解能力。
为了支持文心4.5模型的高效训练，百度还提出了异构混合并行和多层级负载均衡策略。通过节点内专家并行、显存友好的流水线调度、FP8混合精度训练和细粒度重计算等多项技术，显著提升了预训练吞吐。在推理方面，百度提出了多专家并行协同量化方法和卷积编码量化算法，实现了效果接近无损的4-bit量化和2-bit量化。此外，还实现了动态角色转换的预填充、解码分离部署技术，可以更充分地利用资源，提升文心4.5 MoE模型的推理性能。
飞桨框架加持，Benchmark表现优异
文心4.5系列模型均使用飞桨深度学习框架进行高效训练、推理和部署。在大语言模型的预训练中，模型FLOPs利用率（MFU）达到47%。实验结果显示，该系列模型在多个文本和多模态基准测试中达到SOTA水平，在指令遵循、世界知识记忆、视觉理解和多模态推理任务上效果尤为突出。
模型权重按照Apache 2.0协议开源，支持开展学术研究和产业应用。此外，基于飞桨提供开源的产业级开发套件，广泛兼容多种芯片，降低后训练和部署门槛。
配套工具与生态服务，助力开发者快速上手
为了方便广大开发者使用，百度同步升级发布了文心大模型开发套件ERNIEKit和大模型高效部署套件FastDeploy，为文心4.5模型及开发者提供开箱即用的工具和全流程支持。
- ERNIEKit： 提供预训练、全参精调（SFT）、直接偏好优化（DPO）、参数高效精调与对齐（SFT-LoRA/DPO-LoRA）、训练感知量化（QAT）和训练后量化（PTQ）等大模型全流程开发支持。
- FastDeploy： 提供一行代码开箱即用的多硬件部署体验，使用接口兼容vLLM和OpenAI协议。针对旗舰模型提供了产业级多级负载均衡的PD分离部署方案，支持丰富的低比特量化推理、上下文缓存、投机解码等加速技术。
此外，飞桨星河社区也上线了基于文心飞桨的最佳实践应用与项目，涵盖对话、检索增强、知识库问答以及 SFT/DPO 模型微调示例，方便开发者适配和拓展应用场景。
展望未来：开源生态与人才培养
截至2025年4月，飞桨文心已累计服务超2185万开发者、67万家企业，创建模型达110万。百度还将联合Hugging Face等30+开源社区推出20节「文心飞桨・开源系列公开课」；携手国网、工行、北京大学、浙江大学、厦门大学等产业导师与高校名师打造「文心名师系列・公开课」；在星河社区AI Studio滚动上线包含基础概念、实操技巧、进阶学习的「动手学大语」。
此次文心大模型4.5系列的开源，标志着百度在人工智能领域的又一次重要突破。通过开放技术和资源，百度旨在构建一个更加繁荣的AI生态，赋能开发者和企业，共同推动人工智能技术的创新和应用。
参考文献：
- 飞桨PaddlePaddle官方微信公众号文章：文心4.5系列模型，正式开源！
- 文心大模型技术Blog：https://yiyan.baidu.com/blog/posts/ernie4.5
- ERNIEKit仓库：https://github.com/PaddlePaddle/ERNIE
- FastDeploy仓库：https://github.com/PaddlePaddle/FastDeploy
Views: 0