【全球科技讯】今天凌晨，科技巨头马斯克旗下专注于人工智能研究的公司 xAI 创造性地开源了其最新研发的超大规模语言模型——Grok-1。这款拥有3140亿参数的混合专家（MoE）模型，一举成为目前参数量最大的开源大语言模型，引发了业界的广泛关注。
Grok-1 的设计与训练秉持开放共享的精神，其基础模型基于海量文本数据进行无特定任务微调的训练，旨在提供一个通用的自然语言处理工具。据透露，该模型在每个 token 上的激活权重仅为25%，显示了其高效处理信息的能力。此外，xAI 使用了先进的技术栈，包括JAX库和Rust语言，于2023年10月从零开始构建并训练了这个庞大的模型。
xAI 按照Apache 2.0许可证开源Grok-1的权重和网络架构，这一举措不仅彰显了公司对于开源社区的承诺，也为全球研究者和开发者提供了一个探索大规模语言模型的宝贵平台。这一开源行动预计将推动人工智能领域，尤其是自然语言处理技术的进一步创新和发展。
随着Grok-1的开源，全球的科研人员和工程师将有机会深入研究这一巨量参数模型的内部机制，有望催生出更多高效、智能的应用，为人工智能的未来打开新的可能。这一消息无疑将对全球AI研究社区产生深远影响，推动科技进步的步伐。
英语如下：
【来源】https://mp.weixin.qq.com/s/hvt5zwoazDx26KOaKuTs_w
Views: 7