北京 — 字节跳动近日正式启动代号为“Seed Edge”的研究项目,标志着这家中国互联网巨头正加大在通用人工智能(AGI)领域的前沿研究投入。该项目旨在探索AI的原创性创新,而非仅仅追随现有技术,这与国内普遍存在的快速跟进行业最新成果的模式有所不同。
据《晚点LatePost》报道,Seed Edge项目已拟定五大研究方向,包括:
- 下一代推理: 探索更高效且更通用、提升模型推理能力的方法。
- 下一代感知: 找到统一生成和理解表示的方法,表示和压缩真实世界,构建 “世界模型”。
- 软硬一体的模型设计: 从软硬一体出发,探索 Transformer+GPU 之外的模型设计,发挥下一代硬件的能力。
- 下一代范式: 在反向传播、Transformer 架构、预训练 + 对齐的模式之外,探索更高效的模型结构和学习方法。
- 下一代 Scaling 方向: 在预训练和推理阶段的 Scaling Laws 之外,探索 Multi-Agent(多智能体)和 Test-Time Training(测试时间训练,动态调整模型参数)等方向。
字节跳动创始人张一鸣对AI研究高度重视,鼓励团队探索基础课题。据接近张一鸣的人士透露,他会亲自关注AI技术细节,与顶尖AI研究者交流,并鼓励字节的AI人才自由探索。
从追赶到引领:字节跳动的AI战略转型
过去一年,字节跳动通过密集发布大模型、豆包App等AI应用,展现了其紧跟先进模型和快速推出用户规模产品的能力。就在1月22日,字节跳动迭代豆包基础模型刚过一个月,又发布融合多模态能力的豆包1.5 Pro模型,并声称 “用较小激活参数,即可比肩一流超大稠密预训练模型的性能”。
然而,Seed Edge的成立表明,字节跳动对AI的野心远不止于模型与产品,更希望获得持续提升智能水平的创新能力。相比不断更新模型,这是一个更“模糊”的目标,它所面临的挑战,不仅是数据、算力,更是根本的目标判断与路径选择。
字节跳动AI研究的深度与广度
在正式组建Seed Edge前,字节跳动就开始投入研究AI基础技术。据初步统计,2024年字节跳动的研究团队发布了100多篇AI相关的论文。“字节AI研究的深度、广度,远超出外界印象。”一位字节跳动人士表示。
一个例证是字节跳动豆包大模型团队(Seed)去年11月发布的一篇论文,该论文从物理定律的视角探讨了Sora等视频生成模型距离世界模型还有多远。他们提出了一个与OpenAI Sora研究团队相反的结论:视频生成模型无法从训练数据中提炼出通用的物理规则。
图灵奖得主、Meta首席AI科学家杨立昆(Yann LeCun)评价这个成果时说,“这不是一个让人惊讶的结论,但好在有人尝试证明了这件事。”
挑战与机遇
尽管字节跳动在资金和资源方面具有明显优势,但如何将这些资源转化为人才密度,为人才提供创新和研究空间,最终形成培育更多优秀人才的土壤,将是其面临的关键挑战。
Seed Edge项目的启动,标志着字节跳动在AI领域的战略转型,从快速跟进到探索原创性创新。在全球AI竞争日益激烈的背景下,字节跳动的这一举措能否帮助其在AGI领域取得突破,值得关注。
参考文献:
- 晚点LatePost. (2024). 晚点独家丨字节启动 Seed Edge,加码 AGI 研究. https://www.latepost.com/category/14/article/3759
注: 由于原文中只提到了两篇论文,但没有给出具体的引用信息,因此在参考文献中没有列出这两篇论文。如果需要补充,请提供这两篇论文的详细信息。
Views: 1
