苏黎世/山景城—— 4月14日，谷歌首席科学家Jeff Dean在苏黎世联邦理工学院的信息学研讨会上发表了一场引人瞩目的演讲，题为“AI的重要趋势：我们是如何走到今天的，我们现在能做什么，以及我们如何塑造AI的未来？” 这场演讲不仅回顾了谷歌在人工智能领域十五年来的重要研究成果，更揭示了现代大型语言模型（LLM）和多模态大模型背后的关键技术，如Transformer、知识蒸馏、混合专家模型（MoE）和思维链等，都与谷歌的早期探索密不可分。
Dean的演讲以时间为轴，梳理了谷歌在AI领域的奠基性贡献，并展望了AI技术对世界的积极影响。正如X平台（原Twitter）网友@brucexoffi所言，这场演讲堪称“AI的进化史”。
机器学习的十五年：从神经网络到DistBelief
Dean首先分享了他对近年来机器学习领域发展趋势的观察：机器学习彻底改变了我们对计算机可能性的期望；增加规模（计算、数据、模型大小）可带来更好的结果；算法和模型架构的改进也带来了巨大的提升；我们想要运行的计算类型以及运行这些计算的硬件正在发生巨大的变化。
神经网络是现代AI的基石。Dean指出，神经网络的概念虽然早在上世纪就已提出，但直到近年来才真正发挥其潜力。反向传播算法则是优化神经网络权重的关键方法，通过不断调整模型参数，使其输出逐渐接近期望结果。
2012年，Dean和他的团队开始探索训练大型神经网络的可能性。他们训练了一个比当时已知最大神经网络大60倍的模型，使用了16,000个CPU核心。这项研究证明了“投入足够的训练计算，更大模型的能力会更强”的假设，并将AI在ImageNet 22K上的最佳性能提高了约70%。
为了支持这项工作，谷歌开发了第一个神经网络大规模基础设施系统——DistBelief。这是一个分布式计算系统，可以将神经网络的训练任务分散到多台机器上。DistBelief支持模型并行化和数据并行化两种策略，前者将神经网络的不同部分分配到不同的机器上，后者则在多台机器上复制整个模型，并将训练数据划分给不同的模型副本。
DistBelief的成功证明了大规模分布式训练的可行性，为后续大型语言模型的发展奠定了基础。
Word2Vec与词嵌入：理解语言的奥秘
2013年，谷歌利用DistBelief框架训练了一个扩大了词的密集表示的模型——Word2Vec。Word2Vec通过将词语映射到高维向量空间，使得语义相关的词语在高维空间中彼此靠近。
Dean指出，Word2Vec的成功之处在于，它不仅能够捕捉词语之间的语义关系，还能够理解词语之间的类比关系。例如，通过在高维空间中进行向量运算，可以将“国王”转换为“女王”，将“男人”转换为“女人”。
Word2Vec的出现标志着自然语言处理领域的一大进步，为后续的语言模型发展提供了重要的理论基础。
Transformer：AI领域的革命性突破
2017年，谷歌发布了Transformer模型，这被认为是AI领域的一项革命性突破。Transformer模型采用自注意力机制，能够并行处理序列数据，从而大大提高了训练效率。
Transformer模型的出现彻底改变了自然语言处理领域，为后续的BERT、GPT等大型语言模型的诞生奠定了基础。
知识蒸馏、MoE与思维链：持续进化的AI技术
除了Transformer之外，Dean还提到了知识蒸馏、混合专家模型（MoE）和思维链等关键技术。
知识蒸馏是一种模型压缩技术，可以将大型模型的知识转移到小型模型上，从而提高模型的推理速度和降低计算成本。
MoE模型则是一种将多个小型模型组合成一个大型模型的方法，每个小型模型负责处理一部分数据，从而提高模型的容量和性能。
思维链是一种推理方法，通过将复杂问题分解为多个步骤，逐步推理出最终答案。
这些技术都在现代大型语言模型中发挥着重要作用，推动着AI技术的不断发展。
展望未来：AI的积极影响
在演讲的最后，Dean展望了AI技术对世界的积极影响。他认为，AI将在医疗、教育、交通等领域发挥重要作用，帮助人类解决各种复杂问题。
Dean强调，AI的发展需要伦理和安全方面的考虑，我们需要确保AI技术被用于造福人类，而不是被滥用。
Jeff Dean的演讲不仅回顾了谷歌在AI领域的辉煌成就，更展望了AI技术的未来发展方向。这场演讲为我们提供了一个了解AI进化史的窗口，也激发了我们对AI未来发展的思考。
参考文献：
- Jeff Dean演讲视频：https://video.ethz.ch/speakers/d-infk/2025/spring/251-0100-00L.html
- Jeff Dean演讲幻灯片：https://drive.google.com/file/d/12RAfy-nYi1ypNMIqbYHjkPXF_jILJYJP/view
- 机器之心报道：https://www.jiqizhixin.com/articles/2025-04-18-2
致谢： 感谢X平台用户@brucexoffi对本文的启发。
Views: 2