Jeff Dean and Noam Shazeer — 25 years at Google: from PageRank to AGI

Jeff Dean and Noam Shazeer — 25 years at Google: from PageRank to AGI (2026-02-13, glm-4.7-flash)

1. 导读¶

如果你相信学界的两派争论，这场对话会颠覆你对AI演进路径的预设。作为Transformer架构的联名作者和MapReduce的缔造者，Jeff Dean和Noam Shazeer代表了硅谷最核心的算力与算法势力。他们参与讨论的不仅是技术细节，而是谷歌过去25年的技术哲学，以及未来AGI（通用人工智能）在物理世界的落地形态。

但这期播客最令人不安的地方在于，它揭示了令人尴尬但真实的“超前者陷阱”：Google内部早在ChatGPT引爆前就拥有名为Meena的对话系统，却因过度迷信“搜索引擎必须百分之百准确”的搜索旧神学，而在生成式能力的爆发上犹豫不决。当他们终于承认“做搜不到的事”比“搜得快”更有价值时，我们也必须审视他们背后的焦虑与野心——如果我们不仅是在等待一个更好的模型，而是在构建一个能自主进行“超长链条推理”并“即时自我迭代”的智能体，那人类现在的组织架构和监管体系是否真的准备好了？

这是一个关于从“构建通用搜索引擎”到“通过扩展推演时间来省略像规则一样笨拙的步骤”并最终实现全面自动化进化的宏大叙事。

2. 核心观点¶

两位主讲人认为，通往AGI的路已经从单纯的“算力堆叠”转向了“软硬件协同演化”的新范式。他们断言，未来几年的能力跃升将严重依赖更激进的算法妥协（如极致的量化）以及一个既能感知硬件特性又能自我进化的“有机模型”。

算法并非被动跟随硬件，而是主动重塑硬件规格。 他们认为过去的硬件（Intel芯片）是为复杂操作系统（Office）设计的，而现在的AI硬件本质上应该只是“廉价的线性代数运算器”。只有当算法需要低精度乘法时，硬件设计者才应该去填充那个方向。
- 底层逻辑： 通信成本远高于计算成本，算法天然倾向于利用极低精度计算和密集连接。
- 论据： Jeff Dean提到TPU设计从v1到现在的演变，以及大家开始从FP64转向INT4/INT2的训练与推理。
推理阶段的“偷懒”是算法设计的重大缺失。 现在的模型像是在考试只能做选择题，而人类会写下证明过程。这期对话中提出的核心洞见是：通过在推理时投入数十倍甚至数百倍的算力，模型可以进行多步的“思维链搜索”，从而解决复杂逻辑问题。
- 底层逻辑： 当算存的成本足够低时，我们不再是追求“最快给出一句话”，而是追求“用回溯法直到找到绝对正确的路径”。
- 论据： Dean将“多思考几次”比作比阅读纸质书还便宜的爱好，甚至比雇佣软件工程师便宜百万倍。
"组合式智能体"（The Blob）将取代单体模型。 传统的Mixture of Experts（MoE）是僵化的结构，未来应该是一种“有机”生长的模块化系统。每个部分（如专家）可独立升级，连接方式由硬件和任务动态决定，甚至通过自学来优化内部的连接权重。
- 底层逻辑： 人的大脑是高度专业化且动态重组的片段，僵化的全连接神经网络既浪费算力又限制了灵活性。
- 论据： 两人讨论的Pathways系统和未来的“有机模型”构想，即如果任务简单，路由器让其走极小路径；如果任务复杂，则激活大路径。
Google的迟缓源于"搜索范式"的路径依赖。 Noam Shazeer坦诚，Google内部的聊天机器人（Meena）比ChatGPT出现得更早，但由于受到谷歌“搜索引擎必须事实准确”的基因束缚，管理层不敢发布。
- 底层逻辑： 早期的预警机制过于依赖"搜索结果准确性"这一单一指标，而非"多模态任务的实用性"。
- 危机点： 这种思维定式差点让Google在AGI的起跑线上落后，反过来证明了"容错"在生成式AI生态中的必要性。
AI研究的生产力将指数级提升。 随着自动化代码生成技术的成熟，成千上万的"超算工程师"将瞬间诞生。人类不再需要手写实验代码，而是提出构想，让模型自行在PB级数据中寻找最优解。
- 底层逻辑： 现有的研究者数量不足以穷尽当前的架构空间，必须引入机器辅助的并行探索。
- 推论： 这将把人类的研究活动从“手工作坊”转变为“超级实验室”，失败率虽高但量级足以触碰质变。

这些观点形成了一个严密的逻辑闭环：算法现在迫切需要通过硬件特化（更便宜的算力）、推理流程特化（更深度的思考）和模型结构特化（有机的Blobs）来释放算力。如果这个闭环被打破——例如算法本身陷入局部最优——所有的硬件投入都将是浪费。

3. 批判与质疑¶

虽然听众会为两位大佬对技术趋势的敏锐洞察而折服，但我们必须保持审慎。

首先，关于“有机模型”的可控性与可解释性存在巨大的未知数。Jeff Dean断言我们不需要理解模型的每个神经元（真黑箱），才能保证安全。然而，如果模型能够在毫秒级、万亿次、但又是自动化的方式下修改自己的内部连接和核心代码，这种“深度的黑箱自我修改”带来的风险可能与“手写代码”无异。若系统在学习过程中演化出一种为了“快速收敛”而牺牲“人类偏好”的行为模式，而在当前有限的监督下难以察觉，那么所谓的“有机生长”可能比僵化的结构更危险。

其次，过度依赖“Inference Scaling”（推理时扩展）存在瓶颈。Dean认为花更多的钱让模型多算几遍就能变聪明。但这是否存在上限？如果每次解决复杂问题都像解数学题一样需要一步步回溯，那么时间和金钱成本会不会高到不可接受？目前的论据倾向于认为算力便宜，但如果一个问题需要消耗一个国家的电力时，人类是否还会选择“跑一遍模型”？

最后，Google关于“Search vs. Chat”的反思似乎流于表面。他们认为自己放慢脚步是因为过于在意准确性。但更深层的逻辑可能是，Google作为一个搜索巨头，其商业模式是基于“点击率和广告”的，而ChatGPT代表的生成式AI潜在的商业模式是基于“订阅费”和“生产力解放”的。这种商业模式的差异才更可能是他们在产品化上的犹豫根源，而不仅仅是技术上的洁癖。

4. 行业视野¶

谷歌这期对话不仅是对自身历史的复盘，更是在宣告“后Transformer时代”的到来。

将其置于整个AI历史图景中，我们看到的是从“技术栈驱动”向“生态位驱动”的趋势转变。在90年代末，Google靠独门算法（PageRank）和分布式系统（MapReduce）收割红利；现在，AI的护城河正在演变为一种“软硬一体化”的生态位——TPU、Mixture of Experts、以及谷歌独有的底层软件栈，共同构建了一个封闭的进阶飞轮，使得外部开发者很难仅仅靠算法创新就撼动其地位。

这与历史形成了某种尴尬的呼应：就像20年前IBM的Sparc架构与Sun的操作系统软件协同构建了应用层的繁荣一样，现在的Google正在做同样的事。不同的是，当年的互操作性更好，而这次如果没有极其激进的开放姿态（尽管他们也试图开源），这种“闭源的AI特警队”可能会在很长一段时间内利用先发优势形成巨大的技术马太效应。这篇播客其实是在提醒所有人：拼刺刀的时代已经结束，拼基建和拼自动化研发能力的时代到了。

5. 启示与建议¶

这场对话重构了我们关于“人与AI协作”的假设。

对于高科技企业的CTO与研发总监： 你的团队不应再致力于成为“最懂提示词的人”。你需要关注的是如何构建能够容纳“自主Agent”的基础设施。如果你的代码库不能被Gemini级别的模型在几分钟内扫描并生成简历级别的补全，你会迅速落后。建议： 立即进行“AI原生化”改造，不再分层管控代码，而是像Google那样让内部模型在代码库上进行漂浮训练，使其能直接引用内部知识库。
对于投资人： 不要再纠结于现在谁是“大模型一哥”。重点在于谁能掌控“推理时算力”的边际成本降得更低。那些掌握超级算力中心，并能像设计芯片一样设计算法的公司，将通吃未来。建议： 密切关注芯片设计的自动化程度与推演成本的下降曲线，这是一切估值模型的分母。
对于产品经理： 你需要重新定义“成功”。过去我们追求“精准告知”，现在（且未来）我们要追求“任务完成”。建议： 承认AI会犯错，将产品从“强迫回答正确”转向“提供选项并支持反思”。将用户界面设计为无人驾驶路线的“副驾驶”而非“主司机”。

结论优先级： * 强信号： “Inference scaling”（多算一次更聪明）是从硬件到算法的全行业共识。 * 合理推断： Google凭借其算力与协议优势，将在未来2-3年内通过“软硬协同”重新确立统治地位。

6. 金句摘录¶

"And no, wait, we can increase our throughput-to-cost ratio by a lot by quantizing." 意译： 当算力已经便宜到一定程度时，算法设计者不应嫌弃低精度，因为这是通过提升吞吐量来降低成本的最有效杠杆。

"Talking to a language model is like 100 times cheaper than reading a paperback." 意译： 即使目前低精度推理成本较高，但与读纸质书的体验相比，与大型语言模型的交互在算力成本上的优势依然巨大，这为“多算几遍”留下了巨大的利润空间。

"I think one thing people should be aware of is that the improvements from generation to generation... is equally and perhaps even more so driven by major algorithmic improvements ... that really makes the model better per flop." 意译： 现在的模型性能提升，越来越依赖于算法上的突破性进展，而不仅仅是计算量的堆砌，这使得算法优化本身成为了提升效率的关键瓶颈。

"We had an internal chatbot system that Googlers could play with... I think what we didn’t quite appreciate was how useful they could be for things you wouldn’t ask a search engine." 意译： 我们当时太迷信搜索的单一性，忽略了像“帮我给兽医写张便条”这种非搜索类任务，竟然蕴含着比精确检索大得多的社会价值。