北京，2024年5月16日 – 在国内大模型领域竞争日趋白热化的当下，社交平台小红书一反常态的低调，于昨日高调宣布开源其首个自研大模型——dots.llm1。这款由小红书hi lab（Humane Intelligence Lab，人文智能实验室）团队倾力打造的文本大模型，以其“迄今为止行业最大的开源力度”迅速引发业界关注，为国内大模型生态注入了新的活力。
小红书的“反差萌”：低调研发，高调开源
长期以来，小红书给人的印象更多是生活方式分享社区，而非技术驱动型公司。在大模型领域，相较于百度、阿里、腾讯等互联网巨头的声势浩大，小红书显得格外低调。然而，这份低调背后，却隐藏着小红书在人工智能领域的默默耕耘。
此次dots.llm1的开源，无疑打破了小红书在大模型领域的“沉默”。更令人惊讶的是，小红书选择了一种极其开放的方式，将模型的核心技术和训练过程毫无保留地呈现给开发者，展现了其拥抱开源、赋能社区的决心。
dots.llm1：中等规模，性能卓越
dots.llm1并非以参数规模取胜。其总参数量为142B，激活参数为14B，属于中等规模的MoE（Mixture of Experts）模型。MoE模型的核心思想是利用多个“专家”模型来处理不同的输入，从而在保证性能的同时，降低计算成本。
尽管激活参数量相对较小，dots.llm1在各项评测中表现出色。具体来说，dots.llm.inst模型在激活14B参数的情况下，在中英文通用场景、数学、代码、对齐任务上的表现亮眼，与Qwen2.5-32B-Instruct、Qwen2.5-72B-Instruct相比具备较强的竞争力。同时与Qwen3-32B相比，在中英文、数学、对齐任务上表现接近。
这一结果表明，dots.llm1在模型架构设计和训练策略上具有独到之处，能够在有限的资源下实现卓越的性能。这对于资源有限的开发者和研究者来说，无疑是一个福音。
“卷”到天花板的开源力度：小红书的诚意
dots.llm1最大的亮点，莫过于其“卷”到行业天花板的开源力度。小红书不仅开源了dots.llm1.inst模型，方便开发者开箱即用，还贴心地开源了一系列pretrain base模型，包括预训练第一阶段中每经过1T tokens后所保存的checkpoint，以及退火阶段两次训练对应的模型checkpoint、长文本。
这种程度的开源，在业内实属罕见。通常情况下，大模型厂商只会开源最终的instruction tuning模型，而对预训练过程中的模型checkpoint讳莫如深。小红书此举，无疑是将大模型训练的“秘籍”公之于众，为开发者提供了深入研究和改进模型的机会。
开源预训练checkpoint的意义在于：
- 透明化训练过程： 开发者可以了解模型在不同训练阶段的学习情况，从而更好地理解模型的行为和特点。
- 加速模型迭代： 开发者可以基于已有的checkpoint进行fine-tuning，从而快速构建自己的应用。
- 促进学术研究： 研究者可以利用这些checkpoint进行各种实验，探索大模型的内在机制。
小红书hi lab团队的负责人表示，希望通过这种开放的方式，与开发者和研究者共同推动大模型技术的发展。
小红书为何选择开源？
小红书选择开源dots.llm1，并非一时兴起，而是经过深思熟虑的战略决策。
- 拥抱开源生态： 开源是推动技术创新和生态繁荣的重要力量。小红书希望通过开源dots.llm1，融入开源社区，与开发者和研究者共同构建繁荣的大模型生态。
- 吸引人才： 开源项目是吸引优秀人才的磁石。通过开源dots.llm1，小红书可以吸引更多对大模型技术感兴趣的开发者和研究者加入其团队。
- 提升品牌影响力： 开源是一种有效的品牌推广方式。通过开源dots.llm1，小红书可以提升其在人工智能领域的知名度和影响力。
- 赋能自身业务： 小红书的最终目标是利用大模型技术赋能自身业务，提升用户体验。通过开源dots.llm1，小红书可以吸引更多开发者为其平台开发各种应用，从而提升用户粘性和活跃度。
dots.llm1的潜在应用场景
dots.llm1作为一款通用文本大模型，具有广泛的应用前景。
- 智能客服： dots.llm1可以用于构建智能客服系统，自动回答用户的问题，提供个性化的服务。
- 内容创作： dots.llm1可以用于辅助内容创作，例如生成文章、撰写文案、创作剧本等。
- 机器翻译： dots.llm1可以用于机器翻译，实现不同语言之间的自动翻译。
- 代码生成： dots.llm1可以用于代码生成，帮助开发者快速编写代码。
- 教育： dots.llm1可以用于教育领域，例如智能辅导、自动批改作业等。
此外，dots.llm1还可以与小红书的现有业务相结合，例如：
- 智能推荐： 利用dots.llm1理解用户的兴趣和需求，从而提供更精准的推荐。
- 内容审核： 利用dots.llm1自动识别和过滤不良信息，维护社区的健康环境。
- 用户画像： 利用dots.llm1分析用户的行为和特征，从而构建更完善的用户画像。
国内大模型开源现状
近年来，国内大模型领域涌现出越来越多的开源项目。除了小红书的dots.llm1，还有：
- 清华大学的GLM系列： GLM系列模型以其独特的架构和卓越的性能，在国内外学术界和工业界都获得了广泛的认可。
- 百川智能的Baichuan系列： Baichuan系列模型以其快速迭代和开源策略，迅速成为国内大模型领域的一支重要力量。
- 智源人工智能研究院的Flag系列： Flag系列模型以其全面开放和易用性，吸引了众多开发者和研究者。
这些开源项目的出现，为国内大模型生态的繁荣奠定了坚实的基础。
开源的挑战与机遇
开源虽然具有诸多优势，但也面临着一些挑战。
- 安全风险： 开源模型可能被用于恶意用途，例如生成虚假信息、进行网络攻击等。
- 商业模式： 如何在开源的基础上实现商业盈利，是一个需要认真思考的问题。
- 维护成本： 维护一个开源项目需要投入大量的人力和物力。
然而，挑战与机遇并存。只要能够有效应对这些挑战，开源将为大模型技术的发展带来巨大的机遇。
行业专家观点
对于小红书开源dots.llm1，行业专家普遍持积极态度。
- 中国科学院计算技术研究所研究员 张 博士： “小红书开源dots.llm1，展现了其拥抱开源、赋能社区的决心。这种开放的态度，将有助于推动国内大模型技术的发展。”
- 北京大学人工智能研究院教授 李 教授： “dots.llm1的开源力度令人印象深刻。开源预训练checkpoint，为开发者和研究者提供了深入研究和改进模型的机会。”
- 某知名互联网公司AI负责人 王 先生： “小红书选择开源dots.llm1，是一个明智的战略决策。开源可以帮助小红书吸引人才、提升品牌影响力、赋能自身业务。”
未来展望
小红书开源dots.llm1，标志着其正式加入国内大模型混战。凭借其“迄今为止行业最大的开源力度”和卓越的性能，dots.llm1有望在开源社区中获得广泛的认可和应用。
未来，我们期待小红书能够继续加大在大模型领域的投入，不断推出更具创新性和实用性的产品和服务，为国内大模型生态的繁荣做出更大的贡献。
同时，我们也希望更多的企业和机构能够加入到开源的行列中来，共同推动人工智能技术的发展，为人类创造更美好的未来。
参考文献：
- 机器之心：《没想到，最Open的开源新模型，来自小红书》
- 各开源大模型项目官方网站及相关论文
致谢：
感谢小红书hi lab团队为本文提供的资料和信息。
Views: 1