type
Post
status
Published
date
Feb 11, 2026
slug
google-the-ai-company
summary
Acquired 播客《Google: The AI Company》内容整理:从 Google 的 AI 研究史、Transformer 的诞生,到 ChatGPT 引爆后 Google 如何在“护住搜索现金牛”和“全力追赶 AI 产品化”之间做取舍。
tags
推荐
新闻
人工智能
category
声音
icon
password
谷歌的完整历史与战略
谷歌正面临着历史上最伟大的创新者困境。他们_发明了_Transformer——这项突破性技术驱动着从ChatGPT到Claude(当然还有Gemini)的所有现代人工智能系统。他们几乎招揽了_所有_顶尖的人工智能人才:Ilya Sutskever、Geoff Hinton、Demis Hassabis、Dario Amodei——在2014年左右,几乎所有引领现代人工智能发展的人才都曾在谷歌工作过。他们构建了最_先进的_专用人工智能基础设施(TPU!),并在其他任何公司之前数年就实现了大规模人工智能部署。然而……2022年11月ChatGPT的发布却让他们措手不及。历史上最伟大的企业,怎么会最终落后于一家由非营利组织转型而来的初创公司呢?
今天,我们将完整讲述谷歌20多年来的AI发展历程:从2001年第一个小型语言模型,到谷歌大脑的创建,再到Transformer的诞生,以及人才流失到OpenAI(这源于埃隆·马斯克对谷歌收购DeepMind的愤怒),直至如今他们全力以赴推出Gemini计划。对了,还有一家名为Waymo的小公司,它从一个疯狂的登月计划发展到如今在旧金山的出行量超过Lyft,并有可能在谷歌内部打造另一个谷歌规模的业务。这就是这家全球最伟大的企业如何面临最大考验的故事:他们能否在不失去其年利润高达1400亿美元的搜索业务的情况下实现自我颠覆? 后续跟进和更正:
  • 在谈到 Google Cloud 时,我们说 Kubernetes 是在 2018 年推出的……实际上它是在 2014 年推出的!
  • 我们之前说过AlphaGo是用4个TPU运行的——但实际的AlphaGo比赛用了48个TPU,分布在两个机架上(每个机架24个)。后来他们用4个TPU运行了AlphaGo Zero,但那是在李世石比赛之后。
  • 我们实际上严重低估了谷歌TPU相对于基于GPU的AI基础设施的成本优势!我们正确地指出,谷歌的芯片硬件合作伙伴博通对TPU的加价仅为谷歌的2倍左右,而英伟达对GPU系统的利润率高达80%左右(即5倍左右)。然而,芯片本身只是TPU/GPU系统总成本中的一个组件(约占25%)……而英伟达80%的利润率适用于整个系统!(英伟达不单独销售GPU芯片,只提供完整的解决方案。)因此,谷歌不仅能以远低于GPU的价格获得TPU芯片,而且与业内其他公司相比,其AI系统也获得了全面的成本节约。 文字稿:( 免责声明:可能包含无意中造成的令人困惑、不准确和/或有趣的转录错误)
本:我去看了一间工作室,其实就是附近一间我打算改造成工作室的小办公室,但那地方一点也不好。天花板是吊顶,所以我能听到隔壁办公室的人说话,录制节目的时候你都能听到他说话。
大卫:第三位联合主持人。
本:第三位联合主持人。
大卫:是霍华德吗?
本:不,那是个律师。他似乎在跟我倾诉某个可怕的问题,我不想听,但我却能听到每一个字。
大卫:他想让数百万人收听他的谈话吗?
本:好的,我们来做播客吧。
大卫:我们来做播客吧。
本:欢迎收听《收购》播客2025年秋季档节目,本节目将探讨优秀公司及其背后的故事和成功秘诀。我是本·吉尔伯特。
大卫:我是大卫·罗森塔尔。
本:我们是你们的主持人。这里有个难题。假设你拥有一家盈利颇丰的企业,每卖出一件产品都能获得巨额利润。而且你所处的市场也非常庞大,可以说是世界上最大的市场之一。但更幸运的是,你在这个巨大的市场中还拥有垄断地位,占据了90%的市场份额,并且客户锁定率很高。
大卫:当你提到垄断时,指的是美国政府定义的垄断。
本:没错。但想象一下这种情况。在你的实验室里,你那些才华横溢的科学家们发明了一项产品。这项发明,如果结合你其他科学家们之前的各种发明,最终会创造出一种在大多数情况下都比你现有产品更好的产品。
你基于这项新发明推出了新产品,尤其因为出于好心,你的科学家们发表了大量研究论文,盛赞这项新发明以及之前的许多发明。现在,一些新兴的创业公司正在迅速将这项发明商业化。当然,大卫,你会彻底改变你的产品线,使其基于一项全新的技术,对吧?
大卫:这听起来像部电影。
本:没错。但问题是,你还没找到办法让这款新产品像你以前那家巨型印钞公司一样盈利。或许你不应该推出这款新产品。
大卫,这听起来确实是个棘手的难题。当然,各位听众,这是今天的谷歌,或许也是“创新者的窘境”最经典的案例。我们目前所经历的整个人工智能革命,都源于谷歌大脑团队在2017年发明的Transformer。
想想OpenAI和ChatGPT、Anthropic、NVIDIA股价创历史新高吧。现在这一切疯狂的局面,都源于谷歌2017年发表的那篇研究论文。
想想看,十年前谷歌不仅拥有世界上最密集的AI人才,从而取得了这项突破,而且如今他们拥有你所能想到的最好的人才储备。
他们凭借 Gemini 拥有顶尖的 AI 模型。他们的模型并非托管在公共云上,而是托管在谷歌云上,如今年收入已达 500 亿美元。这才是真正的规模。他们是一家芯片公司,拥有自己的张量处理单元 (TPU),这是除英伟达 GPU 之外,全球唯一真正大规模部署的 AI 芯片。或许 AMD 也算得上,但这两家绝对是业界翘楚。
大卫:有人在研究领域跟我说过,如果你没有基础性的前沿模型,或者没有人工智能芯片,那么你在人工智能市场可能就只是个普通的商品。而谷歌是唯一一家两者兼备的公司。
本:谷歌仍然拥有大量优秀人才,尽管 ChatGPT 已经成为时代的 Kleenex(纸巾),但谷歌仍然拥有文本框,对于绝大多数人来说,无论何时何地,只要有人想在网上做任何事情,文本框就是他们进入互联网的门户。
但问题依然存在。谷歌应该如何制定战略?他们是否应该孤注一掷,凭借自身优势在人工智能领域取得成功?还是应该为了保护旗下众多“先知”免受搜索领域的冲击而束缚自身,眼睁睁地看着人工智能浪潮席卷而来?但或许我们首先必须回答这个问题:谷歌是如何走到今天的?大卫·罗森塔尔。今天,我们将讲述谷歌这家人工智能公司的故事。
大卫:哇。
本:大卫,你喜欢吗?还不错吗?
大卫:我爱。你是不是瞒着我聘请了好莱坞的编剧顾问?
本:那是我百分之百自己写的,没有用到人工智能,非常感谢。
大卫:没有人工智能。
本:各位听众,如果您想第一时间知道每期节目上线时间、投票决定未来节目的主题,或者获取往期节目的更正信息,请查看我们的邮件列表。网址是 acquire.fm/email。
听完这期节目后,欢迎加入 Acquired 社区的 Slack 频道,和大家一起讨论。频道地址是 acquired.fm/slack。
David:说到 Acquired 社区,我们即将迎来周年庆典。
本:是的。
大卫:节目开播十周年啦!为了庆祝,我们将举办一场公开的Zoom视频通话,就像我们以前举办LP视频通话那样。通话时间是2025年10月20日下午4点(太平洋时间)。更多详情请查看节目笔记。
本:如果你想了解更多 Acquired 的内容,请收听我们的访谈节目 ACQ2。我们上一期节目非常精彩。我们采访了 Shopify 的创始人兼 CEO Tobi Lütke,探讨了人工智能如何改变了他的生活,以及他对人工智能未来发展方向的看法。你可以在任何播客平台搜索 ACQ2 收听。在正式开始之前,我们想借此机会感谢我们的合作伙伴摩根大通支付。
David:就像我们常说的,每家公司都有一个故事,而每家公司的故事都离不开支付,摩根大通支付业务是许多公司从种子轮到 IPO 乃至更远发展历程中不可或缺的一部分。
本:所以,我要说明的是,本节目并非投资建议。我和大卫可能持有节目中讨论的公司股份,但本节目仅供参考和娱乐。大卫,谷歌,那家人工智能公司。
大卫:本,正如你在那精彩的开场白中提到的——你又开始滔滔不绝了——如果我们把时间倒回到10年前,也就是Transformer论文发表之前,我们之前讨论过的以下这些人当时都是谷歌的员工。伊利亚·苏茨克维尔,OpenAI的创始首席科学家,他和杰夫·辛顿以及亚历克斯·克里热夫斯基一起完成了AlexNet的开创性人工智能工作,并在几年前刚刚发表了相关论文。
他们三人都是谷歌的员工,Anthropic 的创始人 Dario Amodei、特斯拉首席科学家 Andrej Karpathy(直到最近才离职)、Andrew Ng、Sebastian Thrun、Noam Shazeer、DeepMind 的所有成员、Demis Hassabis、Shane Legg、Mustafa Suleyman(Mustafa 除了是 DeepMind 的创始人之一,现在还在微软负责人工智能)——基本上所有人工智能领域的知名人士都曾在谷歌工作过,唯一的例外是 Yann Le Cun,他曾在 Facebook 工作。
本:现在要追溯一个大型人工智能实验室的起源,很难不发现谷歌的影子。
大卫:这里打个比方,就好像在计算机时代初期,像IBM这样的公司把所有会编程的人都招走了。这就好比其他人想写程序,哦,抱歉,你写不了。所有会编程的人都在IBM工作。
2010年代中期,人工智能和谷歌的发展历程就是如此。但学习如何编写计算机程序并不难,并非人人都学不会。而学习如何成为一名人工智能研究员,难度则要大得多。
本:这都是一些非常特殊的博士项目的内容,这些项目只有非常有限的几位导师,而且该领域内部就该领域的发展方向、什么是合法的,什么是疯狂的异端宗教思想等问题存在很多争论。
大卫:那么,问题来了,我们是如何走到今天这一步的?这要追溯到公司创立之初。拉里·佩奇一直把谷歌定位为一家人工智能公司。事实上,拉里·佩奇的父亲是一位计算机科学教授,他在密歇根大学获得了机器学习和人工智能方向的博士学位,而这在当时并不是计算机科学领域的热门方向。
本:事实上,很多人认为专攻人工智能是浪费时间,因为在此之前30年的许多重要理论当时都被推翻了,或者至少人们认为它们已经被推翻了。坦白说,拉里的父亲将毕生精力、事业和研究都投入到人工智能领域,这确实有点反主流。
大卫:拉里也受到了影响。如果你仔细观察,就会发现谷歌赖以建立的PageRank算法其实是一种统计方法。你可以把它归类为计算机科学中人工智能的一部分。当然,拉里的梦想总是远不止于此。
我们之前在这个节目中提到过这句话,那是在2000年,也就是谷歌成立两年后,拉里说的:“人工智能将是谷歌的终极版本。如果我们拥有终极搜索引擎,它将理解网络上的一切,它将准确理解你想要什么,并给你提供正确的东西。”
那显然是人工智能。我们现在离实现那个目标还很远。但是,我们可以逐步接近目标,而这基本上就是我们在这里努力的方向。” 这始终是一家人工智能公司。
本:那是2000年的事了。
大卫:嗯,有一天,大概是 2000 年末或 2001 年初——时间线有点模糊——一位名叫乔治·赫里克的谷歌工程师正在和本·戈麦斯(一位著名的谷歌工程师,我认为他后来领导了搜索部门)以及一位名叫诺姆·沙泽尔的相对较新的工程师一起吃午饭。
乔治是谷歌最早的十名员工之一,一位杰出的工程师。和拉里·佩奇的父亲一样,他拥有密歇根大学机器学习专业的博士学位。即使在乔治求学的年代,机器学习在计算机科学领域仍然是一个相对冷门的分支学科。
三人正在吃午饭,乔治漫不经心地跟大家说,他读博士时有个理论:压缩数据实际上在技术上等同于理解数据。他的思路是,如果你能把一段信息压缩得更小,存储起来,然后再把它恢复成原来的形式,那么唯一能做到这一点的前提是,作用于数据的力量真的理解了它的含义。
当你把信息简化成更小的形式,然后再重新构建原来的形式时,信息就会丢失。这就像你在学校里一样。你在学校学习知识,读一本很长的课本,把信息储存在记忆里,然后参加考试,看看你是否真正理解了这些内容。如果你能把这些概念复述出来,那就说明你真正理解了。
本:这预示着如今大型LLM(学习逻辑模型)的发展,就像把全世界的知识压缩到几TB的容量里,这就像把一小堆向量压缩起来——至少和全世界的信息量相比,这堆向量很小——但这就是核心思想。你可以把全世界的信息存储在一个人工智能模型里,以一种难以理解的方式呈现。但如果你把它解压缩,就能把知识还原到原来的形式。
大卫:这些模型表明了理解,对吧?
本:嗯,真的吗?这才是问题所在。它们确实能装出理解的样子。
大卫:所以这段对话发生在25年前——当时新来的员工,一个毛头小子诺姆,突然停下脚步,惊叹道:“哇,如果这是真的,那真是太深刻了。”
本:这是谷歌的某个微型厨房吗?
大卫:这是谷歌的一个微型厨房。他们正在吃午饭。
本:对了,你是从哪儿找到这个的?一个25岁的……
大卫:这是《In the Plex》。这是斯蒂芬·利维的伟大著作《In the Plex》中的一小段文字,这本书一直是我们所有谷歌专题节目的参考资料。之所以在这里引用这段文字,是因为这本书出版的时候,ChatGPT、人工智能等等这些概念都还没出现。
于是诺姆紧紧抓住乔治,不断跟他探讨这个想法。接下来的几个月里,两人以最典型的谷歌式方式决定,停止所有其他工作,专心研究语言模型和数据压缩,以及能否利用数据生成机器理解。如果他们能做到这一点,对谷歌来说将是件好事。
我认为这与2001年拉里·佩奇解雇工程部门所有经理的那段时间相吻合。当时每个人都随心所欲地做自己想做的事。
本:真有趣。
大卫:乔治在书中说过一句很棒的话。“很多人认为我和诺姆把才能花在这上面是一件很糟糕的事,但桑杰·格马瓦特,”当然,桑杰是杰夫·迪恩著名的多产程序员搭档,“他觉得这很酷。”
乔治会向遇到的任何持怀疑态度的人提出以下论点:“桑杰认为这是个好主意,而世界上没有人比桑杰更聪明,那么我和诺姆为什么要接受你们认为这是个坏主意的观点呢?”
本:这就好比你击败了足球界最强的球队,那么无论如何你就是新的足球界最强的球队了吗?
大卫:没错。这一切最终都让诺姆和乔治深入研究自然语言概率模型。也就是说,对于互联网上出现的任何给定词序列,接下来出现另一个特定词序列的概率是多少?对于任何了解当今语言学习模型(LLM)工作的人来说,这听起来应该相当熟悉。
本:哦,就像预测下一个词一样。
大卫:或者如果你把它概括一下,它就是一个下一个词元预测器。他们用这项研究做的第一件事就是在谷歌搜索中创建“您是不是要找”拼写纠错功能。
本:哦,原来是这件事的起因?
大卫:这是由此产生的。诺姆创建了这个功能。这对谷歌来说意义重大,因为很明显,当用户输入错误的查询语句后需要重新输入时,用户体验会很糟糕。但这也会给谷歌的基础设施带来负担,因为每次这些输入错误的查询语句发出时,谷歌的基础设施都会重新运行,并将那些毫无用处且会被新结果立即覆盖的查询结果提供给该用户。
本:而且这是一个范围非常窄的问题,你会发现,哇,80% 的情况下,有人输入“god groomer”(神级美容师),哦,他们其实想说的是“dog groomer”(狗狗美容师),然后他们会重新输入。如果判断非常准确,你甚至可以不用询问他们就直接纠正,然后询问他们是否想选择退出而不是选择加入。这是一个很棒的功能,也是在如此狭窄的领域中应用这项功能的绝佳案例。
David:完全正确。所以他们就这么做了,Noam 和 George 继续研究,最终创建了一个(在当时来说)相当“庞大”的语言模型,他们亲切地称之为 PHIL——概率分层推理学习器。
本:这些人工智能研究人员喜欢创造反向缩写词。
大卫:他们喜欢玩文字游戏。快进到2003年,苏珊·沃西基和杰夫·迪恩正准备推出AdSense。他们需要一种方法来了解这些第三方网页(即发布商)的内容,以便利用谷歌广告库进行对比。PHIL就是他们用来做到这一点的工具。
本:我完全不知道语言模型也参与其中。
大卫:杰夫·迪恩借用了PHIL,并用它在一周内(因为他是杰夫·迪恩)编写出了AdSense的实现方案,轰!AdSense一夜之间为谷歌带来了数十亿美元的新收入,因为他们现在在第三方页面上投放的广告正是基于更优质的AdWords搜索广告。他们只是大幅扩展了系统中现有广告的库存。这都要感谢PHIL。
本:感谢菲尔。
好了。现在我们得停下来,简单介绍一下杰夫·迪恩。杰夫·迪恩将贯穿本期节目,探讨“等等,谷歌是怎么做到的?”这个问题。杰夫·迪恩究竟是如何在周末回家后,重写整个庞大的分布式系统,并解决谷歌所有问题的?
在查克·诺里斯的趣闻风靡一时的时候,杰夫·迪恩的趣闻在谷歌内部也颇受欢迎。我只想和你们分享一些我最喜欢的。真空中的光速曾经大约是每小时35英里。然后,杰夫·迪恩花了一个周末的时间优化物理学。
大卫:太好了。
本:杰夫·迪恩的密码是“pie”的后四位数字。
大卫:只有谷歌员工才能想出这些点子。
Ben:对 Jeff Dean 来说,NP 的意思是没问题。
大卫:哦,是的。我以前看过那个。我觉得那是我最喜欢的。天哪。太棒了。而且杰夫也是个很棒的人,我们在研究过程中和他交谈过,他非常非常乐于助人。谢谢你,杰夫。
所以,语言模型绝对有效,肯定能为谷歌创造巨大价值,而且它们也完美契合谷歌的使命——整合全球信息,使其人人皆可访问并从中受益。如果你能理解全球信息,对其进行压缩,然后再重新构建,我认为这完全符合谷歌的使命。我认为这已经满足了所有条件。
本:当然。
大卫:PHIL 的规模发展如此之大,以至于到了 2000 年代中期,它竟然占用了谷歌整个数据中心基础设施的 15%。我猜想其中很大一部分用于投放 AdSense 广告,但也包括“您是不是要找”以及谷歌内部开始利用它做的其他所有事情。
Ben:所以早期的自然语言系统计算成本很高。
大卫:是的。现在让我们快进到2000年代中期,也就是2007年,这对我们今天的故事来说是一个非常非常重要的一年。谷歌刚刚推出了谷歌翻译产品。这也是谷歌推出众多优秀产品的时代,我们之前也提到过——地图、Gmail、文档,以及之后Chrome和Android上那些令人期待的功能。
本:他们曾有过一段长达十年的辉煌时期,基本上推出了谷歌除搜索之外的所有产品,确实如此。之后从2013年开始的十年间,他们基本上没有推出任何新产品,直到我们提到Gemini,这真是个令人着迷的项目。但2003年至2013年这段时期,他们可谓是佳作不断。
大卫:简直太神奇了。其中一款产品就是谷歌翻译,虽然它的用户规模和影响力可能不及 Gmail 或地图之类的产品,但它仍然是一款非常神奇的产品。谷歌翻译的首席架构师是另一位杰出的机器学习博士,名叫弗朗茨·奥赫。弗朗茨拥有自然语言处理和机器学习方面的专业背景,他的博士学位也正是基于此。他是德国人,在德国获得了博士学位。当时,DARPA……
本:国防高级研究计划局,是美国政府的一个部门。
大卫:……他们当时举办了一场著名的机器翻译挑战赛。谷歌和弗朗茨当然也参加了,弗朗茨构建了一个规模更大的语言模型,在今年的DARPA挑战赛中遥遥领先。那是2006年或2007年,他获得了天文数字般的蓝色评分。在当时,这个被称为双语评估的测试是评判翻译质量的算法基准。在当时,它的得分高于其他任何可能的结果。
Jeff Dean听说了这件事,也了解了Franz和Translate团队所做的工作。他当时就说,这太棒了!这简直令人惊叹!你们什么时候才能正式发布呢?
本:哦,我听说过这个故事。
David:Jeff 和 Noam 在 DoorDash 的播客里聊过这个。那期节目真的太棒了。Franz 一直说,不不不不。Jeff,你不明白。这是研究。这不是为了产品。我们不能把我们构建的这个模型发布出去。这是一个语法语言模型——语法就像一个词簇——我们用来自谷歌搜索索引的包含两万亿个单词的语料库训练了它。
这玩意儿太庞大了,翻译一句话都要花12个小时。DARPA挑战赛的规则是,周一会收到一组句子,然后必须在周五之前提交机器翻译的结果。
本:服务器运行时间绰绰有余。
大卫:他们当时说,好吧,我们先假设有周一到周五的几个小时,然后尽可能多地利用计算机来翻译这几句话。
本:嘿,先了解游戏规则,然后利用规则来取得优势。
大卫:没错。杰夫·迪恩简直就是工程界的查克·诺里斯,他会说:“嗯,让我看看你的代码。”然后杰夫就空降到翻译团队,和他们一起工作了几个月。他重新设计了算法,让单词和句子可以并行处理,而不是顺序处理。因为翻译一组句子或者句子中的一组单词时,并不一定非要按顺序进行。你可以把问题分解成不同的部分,分别处理。你可以并行处理。
本:你不可能得到完美的翻译。但想象一下,你把每个词都翻译一遍,至少可以同时并行翻译,重新组合句子,大致了解原文的意思。
大卫:没错。杰夫非常清楚这一点,因为他和桑杰基本上是和乌尔斯·霍尔兹勒一起搭建的谷歌基础设施,它具有极强的并行化能力。分布式架构允许你将工作负载分解成小块,将它们发送到谷歌的各个数据中心,然后再重新组装项目,最后返回给用户。
本:他们是世界上在跨 CPU、跨多个数据中心并行处理工作负载方面最优秀的公司。
大卫:我们还在讨论CPU。杰夫和他的团队把平均句子翻译时间从12小时缩短到了100毫秒。然后他们把这个翻译版本应用到谷歌翻译里,效果简直惊人。
本:这听起来像是杰夫·迪恩的秘诀。以前需要12个小时,然后杰夫·迪恩花了几个月的时间研究。现在只需要100毫秒了。
大卫:所以这是谷歌产品中第一个投入生产的“大型”语言模型。他们看到了它的效果。或许我们可以把它用在其他方面,比如在你输入时预测搜索查询。这可能很有意思。
当然,谷歌业务的王牌指标——AdWords广告质量得分——也可能是一个有趣的应用案例。AdWords广告质量得分本质上就是一组特定广告文案的预测点击率。由此可见,一个能够高效地吸收信息、理解信息并据此进行预测的LLM模型,对于计算谷歌的广告质量来说,可能非常有用。
本:这直接翻译成谷歌的最终目标。
大卫:的确如此。显然,所有这些在语言模型方面都非常棒。我说过2007年是重要的一年。也是在2007年,几位计算机科学教授在谷歌园区开始了意义非凡的交汇。
2007年4月,拉里·佩奇从斯坦福大学聘请塞巴斯蒂安·特伦加入谷歌,先是兼职,后转为全职,负责机器学习应用方面的工作。塞巴斯蒂安曾是斯坦福人工智能实验室(SAIL)的负责人。SAIL是传奇的人工智能实验室,在上世纪六七十年代的第一波人工智能浪潮中发挥了重要作用,当时拉里的父亲也活跃在这个领域。之后,SAIL一度关闭,直到21世纪初才重新启动并重新焕发活力。塞巴斯蒂安正是SAIL的领导者和负责人。
本:关于塞巴斯蒂安,还有他加入谷歌的趣事。塞巴斯蒂安很友好地接受了我们的采访,为这期节目做准备。我之前并不知道这其实是一次收购。他和几个(我记得是)研究生当时正在筹备一家公司,已经收到了来自 Benchmark 和 Sequoia 的投资意向书。拉里过来问他,如果我们在你们公司正式成立之前就以签约奖金的形式收购你们,怎么样?
大卫:这或许是他们做出的一个非常明智的决定。斯坦福大学计算机科学系的SAIL团队不仅汇聚了世界上一些最杰出、最有成就的教授和人工智能博士研究员,而且还吸引了大量斯坦福本科生前来这里从事研究工作,同时攻读计算机科学、符号系统或其他相关学位。
其中一人是 Meta 的首席产品官 Chris Cox。
克里斯:不可能。
大卫:没错,他就是这样开始涉足人工智能领域的。显然,Facebook 和 Meta 稍后还会再次出现。这事儿真是匪夷所思。
塞巴斯蒂安在 SAIL 期间,还有一位本科生也曾参加过该项目。他当时是一名大一和大二的学生,后来从斯坦福大学辍学,创办了一家公司,该公司在 2005 年夏天参加了 Y Combinator 的第一批项目。
本:我紧张得坐立不安。这人是谁?
大卫:大家猜猜看?
本:Dropbox,Reddit。我正在努力回想第一批还有哪些人。
大卫:哦,不,但这更贴合本集的主题。这家公司是一家失败的本地移动社交网络。
本:哦,萨姆·奥特曼。循环播放。
大卫:萨姆·奥特曼。
本:太不可思议了。他当时也在SAIL?
大卫:是的,他当时在 SAIL 做本科研究员。
本:哇。
大卫:是不是很不可思议?我们之前就说过,做这一切的都是一小撮人。
本:唉,真怀念那些日子。萨姆在WWDC上和史蒂夫·乔布斯一起演讲,乔布斯还竖着两层衣领。科技界的时代真是截然不同。
大卫:双层立领。太棒了。那是一种感觉。那是一个难忘的瞬间。哦,天哪。好了,2007 年 4 月,塞巴斯蒂安从 SAIL 跳槽到谷歌。接下来的几个月里,他做的第一件事就是一个名为“谷歌地图真实数据”(Ground Truth for Google Maps)的项目。
本:这本质上就是谷歌地图。
大卫:它本质上就是谷歌地图。在 Ground Truth 出现之前,谷歌地图已经是一款产品,但他们必须从一家名为 Tele Atlas 的公司获取所有地图数据。
本:我想应该是两家。他们是双寡头垄断。另一家是Navtech。
David:是的,Navtech 和 Tele Atlas。
本:但是大家都在使用这个糟糕的真实地图数据源,你真的不可能比其他人做得更好,因为你们都只是使用了相同的数据。
大卫:其实没那么好,而且花了不少钱。Tele Atlas 和 Navtech 都是市值数十亿美元的公司。我记得它们可能都曾经上市过,后来被收购了。但总之,它们投入了巨资,收入也很高。
本:没错。塞巴斯蒂安的第一项工作就是街景拍摄。他之前已经有过协调所有这些车辆四处行驶并拍摄照片的经验。
David:然后,在谷歌,Ground Truth 是一个类似登月计划的项目,旨在重新创建所有 Tele Atlas 数据。
本:主要是他们自己拍摄的街道照片,来自街景地图。他们还整合了一些其他数据。他们用到了人口普查数据,我记得总共用了四十多个数据源才把所有信息整合起来。但“地面真相”项目是一项非常雄心勃勃的计划,旨在从零开始创建全新的地图。
大卫:就像我们现在讨论的谷歌所有人工智能和人工智能赋能的项目一样,效果非常好,速度也很快。巨大的成功。
本:嗯,尤其是当你雇佣一千名印度人来帮你梳理所有差异和数据,并实际手工绘制所有地图的时候。
大卫:我们还没进入人工智能自动化普及的时代。凭借Ground Truth的成功,塞巴斯蒂安开始游说拉里和谢尔盖。嘿,我们应该多做这样的项目。我们应该邀请人工智能教授、学者,我认识的这些人,来谷歌兼职。
他们不必成为全职员工。让他们保留在学术界的职位,但来这里和我们一起参与产品项目。他们一定会喜欢这份工作。他们有机会看到自己的成果被数百万人使用。我们会支付他们薪水,他们会赚很多钱,还能获得谷歌股票,并且仍然可以继续在原学术机构担任教授。
本:赢,赢,赢。
大卫:三赢!不出所料,拉里和塞尔吉都说,好啊好啊好啊,这主意不错,就这么办吧。多做点这样的项目。于是,在2007年12月,塞巴斯蒂安邀请了一位当时名不见经传的多伦多大学机器学习教授杰夫·辛顿到谷歌园区做技术讲座。当时还没决定聘用他,但塞巴斯蒂安邀请他来给谷歌的各位做个技术讲座,谈谈杰夫,你和你在多伦多大学的博士生和博士后们在神经网络领域开辟的新方向。
本:还有杰夫·辛顿,可能有人不知道他的名字,他现在被誉为神经网络之父,也是人工智能发展方向的真正奠基人。
大卫:现代人工智能。
本:在当时,他还是个边缘学者。神经网络还不是人工智能领域一个受人尊敬的分支。
大卫:不,完全不是。
本:部分原因是,30-40年前神经网络曾被大肆宣传,但最终并未成功。它实际上(大家都认为)已经被证伪,而且肯定已经过时了。
David:Ben,你还记得我们在 NVIDIA 节目中提到的关于 Geoff Hinton 的我最喜欢的小趣闻吗?
本:哦,是的,他的曾祖父是乔治·布尔?
大卫:没错。他是发明布尔代数和布尔逻辑的乔治·布尔和玛丽·布尔的曾曾孙。
本:现在我了解得更多了,这真是太搞笑了,因为那是符号逻辑,也就是已定义的确定性计算机科学逻辑的基本组成部分。而神经网络的搞笑之处在于它并非如此。它不是符号人工智能,也不是我给你具体指令,你按照一个庞大的if-then树执行。它是非确定性的。它与那个领域截然相反。
大卫:这其实再次凸显了机器学习和计算机科学的这个分支有多么离经叛道。本,正如你之前所说,神经网络并非新概念,理论上也很有前景,但实际上,构建多层神经网络需要的计算量实在太大了。
在此之前,计算机神经网络的层数通常只能达到单层或个位数。但杰夫和他的前博士后,一位名叫扬·勒昆的学者,开始在业内积极宣传。他们认为,如果我们能找到构建多层、深度神经网络的方法——也就是我们所说的深度学习——就能真正实现其潜力。
本:并不是说这个想法不好。而是实现起来需要大量的计算资源,才能完成所有的数学运算,完成所有乘法运算,才能将数据一层又一层地传递到神经网络中,从而检测、理解和存储模式。如果我们真的能做到这一点,那么一个大型的多层神经网络将会非常有价值,而且可能真的可行。
大卫:现在是2007年,也就是21世纪初,摩尔定律已经发展到足以让我们开始尝试验证一些理论的程度。杰夫来谷歌做了这个演讲。演讲视频在YouTube上,你可以去看看,我们也会在节目笔记里附上链接。
本:真的吗?
大卫:这太不可思议了。这是YouTube上一个历史性的见证,谷歌的人,塞巴斯蒂安、杰夫·迪恩,还有我们提到的其他所有人,都非常非常非常兴奋,因为他们已经在使用翻译和他们正在研究的语言模型做类似的事情了,而这些模型并没有使用杰夫正在研究的深度神经网络。
这是一种全新的架构方法,如果他们能够成功运用,就能让他们正在构建的模型运行得更好,识别更复杂的模式,更好地理解数据。非常有前景。
本:目前一切都还停留在理论阶段。
大卫:塞巴斯蒂安·特伦在这次技术讲座后把杰夫·辛顿招进了谷歌,(我认为)先是让他担任未来几年的顾问,然后,严格来说,杰夫·辛顿就成了谷歌的实习生。这就是他们绕过谷歌兼职和全职政策的方法。
本:他大约在 2011 年到 2012 年期间做过暑期实习生。不过,他现在已经 60 岁了。
大卫:在2007年之后的几年里,塞巴斯蒂安提出的将这些计算机科学和机器学习领域的学者以合同工或兼职实习生的身份引入谷歌的想法——基本上是让他们保留学术职位,同时参与谷歌内部产品的大型项目——进展非常顺利,以至于到了2009年底,塞巴斯蒂安、拉里和谢尔盖决定,嘿,我们应该在谷歌内部创建一个全新的部门。于是,它就成了谷歌X,也就是“登月工厂”。
在谷歌 X 的第一个项目中,塞巴斯蒂安亲自领导……
本:哦,大卫,别说了,别说了。
大卫:我先不说它的名字。我们以后再谈。但就目前而言,第二个项目不仅对我们的故事至关重要,而且——
本:献给全世界。
大卫:人工智能正在改变整个世界,而第二个项目就叫做谷歌大脑。但在讲述谷歌大脑的故事之前,现在正是感谢摩根大通支付部门朋友们的好时机。
本:今天我们要讨论摩根大通支付业务的核心组成部分之一——资金管理解决方案。资金管理可能是大多数听众不太会关注的领域,但它对每家公司都至关重要。
大卫:过去,财务部门只是后台职能部门,但现在优秀的公司正将其作为战略杠杆。借助摩根大通支付的财务解决方案,您可以实时查看和管理所有现金头寸,以及在200个国家/地区使用120种货币开展的所有财务活动。
本:他们整个战略中真正重视的另一点是,每个企业都有其独特之处,所以他们不会采用千篇一律的方法。他们会与你合作,找出对你和你的企业而言最重要的事情,然后帮助你获得清晰的思路、掌控局面的能力和十足的信心。
大卫:所以,无论您需要高级自动化,还是只想减少人工流程和审批,他们的实时财务解决方案都能确保一切顺利运行。无论您的资金规模是数百万美元、数十亿美元,还是像我们这期节目中提到的这家公司一样,规模高达数千亿美元。
本:他们还提供一些很棒的战略性服务,比如银行转账,让客户可以直接从他们的银行账户付款。这种方式简单、安全、采用令牌化技术,而且您可以更快地获得资金,并增强数据以优化收入和降低费用。只需与摩根大通建立一次 API 连接,您就可以即时发送和接收实时付款。
大卫:而且由于摩根大通的平台是全球性的,只需一次集成,您就可以接入45个国家/地区(而且还在不断增加),并随着您的业务扩张实现近乎无限的扩展。正如我们之前所说,摩根大通支付每天的交易额高达10万亿美元。因此,规模对您的业务来说不成问题。
本:完全不会。如果您想知道如何管理所有这些全球现金,摩根大通的流动性和账户解决方案可以再次为您提供帮助,确保您在需要的地方拥有适量的现金和合适的货币。
大卫:所以,无论您是想拓展新市场,还是仅仅想更好地掌控资金,摩根大通支付都是您优化流动性、简化运营、转型财务管理的理想合作伙伴。想了解摩根大通如何帮助您和您的公司,请访问 jpmorgan.com/acquired,并告诉他们是本和大卫推荐的。
本:好的,大卫。谷歌大脑。
大卫:塞巴斯蒂安离开斯坦福全职工作,加入谷歌之后,当然需要有人接手 SAIL 项目。接手的人是另一位计算机科学教授,一位才华横溢的学者,名叫吴恩达。
本:这里都是热门歌曲。
大卫:所有热门话题。这集节目里所有关于人工智能的热门话题都在这里。塞巴斯蒂安做了什么?他招募安德鲁来兼职,每周在谷歌园区待一天。这正好与X项目的启动以及塞巴斯蒂安正式成立这个部门的时间吻合。
2010-2011年间的某一天,安德鲁像往常一样在谷歌园区待了一天,结果碰巧遇到了谁?杰夫·迪恩。杰夫·迪恩正在向安德鲁介绍他和弗朗茨在语言模型方面的工作,以及杰夫·辛顿在深度学习领域的研究。
当然,安德鲁知道这一切,他正在谈论他和SAIL在斯坦福大学正在做的事情,然后他们决定,你知道吗?现在或许是时候在谷歌内部真正放手一搏,构建一个庞大的、真正的深度学习模型了,就像杰夫·辛顿一直在谈论的那样,利用谷歌高度瘫痪的基础设施。
本:你说时机可能成熟了,但谷歌之前已经尝试过两次,但两个项目都不太成功。他们尝试过一个叫做“Brains on Borg”的项目。“Borg”是他们用来运行所有基础设施的内部系统。他们也尝试过“Cortex”项目,但这两个项目都不太成功。所以,谷歌的研究团队心里一直有个疑问:大规模神经网络真的能在谷歌的基础设施上运行吗?
大卫:于是,吴恩达和杰夫·迪恩两位研究员拉来了格雷格·科拉多,他拥有神经科学博士学位,是一位杰出的研究员,当时已经在谷歌工作。2011年,他们三人启动了X团队的第二个正式项目,恰如其分地命名为“谷歌大脑”。他们三人开始着手构建一个非常庞大的深度神经网络模型。
本:如果他们要这么做,就需要一个系统来运行它。谷歌的宗旨就是将这些前沿研究成果转化为实际运行所需的架构和工程系统。
大卫:所以杰夫·迪恩正在开发这个基础设施系统,他决定把这个基础设施命名为“Distbelief”,这当然是个双关语,既指系统的分布式特性,也指(当然)“disbelief”(不相信)这个词,因为……
本:谁也没想到这会成功。
大卫:……该领域的大多数人都认为这行不通,谷歌的大多数人也认为这行不通。
本:我来解释一下原因。这有点技术性,但请听我解释一下。当时所有的研究都指向一个观点:你需要同步执行。也就是说,所有的计算都需要非常密集,在一台机器上完成,并且要有很高的并行度,就像GPU那样,你真的希望所有计算都在同一个地方进行。这样一来,在执行下一步操作之前,很容易就能查到系统中其他所有计算结果的数值是多少。
Jeff Dean 用 Distbelief 编写的程序则恰恰相反。它分布在大量的 CPU 核心上,甚至可能分布在整个数据中心,或者不同的数据中心。
理论上,这非常糟糕,因为这意味着你必须在每台机器上不断等待其他机器同步更新后的参数才能继续操作。但实际上,系统是异步运行的,根本不会去其他核心获取最新参数。你是在用过时的数据更新参数。你可能会觉得这行不通,但不可思议的是,它居然真的行得通了。
好的,所以他们有了 Distbelief。接下来他们要做什么呢?他们想做一些研究。于是他们尝试,我们能不能用神经网络做一些很酷的事情?他们在 2011 年年底提交的一篇论文中做了这件事——我先告诉你论文的标题——《使用大规模无监督学习构建高级特征》,但大家都叫它“猫论文”。
大卫:猫咪论文。
本:你跟谷歌的任何人聊聊,你跟人工智能领域的任何人聊聊,他们都会说,哦,对,那篇猫论文。
他们使用一千台不同机器上的 16,000 个 CPU 核心,训练了一个大型的九层神经网络,从 YouTube 视频的未标记帧中识别猫。
听众朋友们,为了强调这件事的重要性,我们在准备这期节目时特意采访了桑达尔,他提到看到那篇关于猫的论文出现在他办公桌上,是谷歌故事中让他印象深刻的关键时刻之一。
大卫:不久之后,他们会做一期“周五欢乐时光”(TGIF)节目,在节目里公布猫咪论文的研究成果。你跟谷歌的人聊起这件事,他们会说:“那期TGIF节目,我的天哪。一切都因此改变了。”
本:它证明了大型神经网络确实可以在没有监督和标记数据的情况下学习有意义的模式。不仅如此,它还能在谷歌为了使其能够在其基础设施上运行而构建的分布式系统上运行。这彻底解决了这个问题。谷歌拥有如此庞大的基础设施资产,我们能否将研究人员提出的这个计算机科学理论想法,利用 Distbelief 在我们的系统上运行呢?
大卫:这的确是一项了不起的技术成就,但它对商业的影响几乎是次要的。我认为,毫不夸张地说,这篇猫咪论文在接下来的十年里为谷歌、Facebook 和字节跳动带来了数千亿美元的收入。
本:当然。数据中的模式识别器。
大卫:所以当时 YouTube 有一个很大的问题,那就是人们会上传这些视频,而且 YouTube 上上传的视频数量非常庞大,但是人们真的不太擅长描述他们上传的视频内容。
YouTube正努力转型为更全面的网站,试图吸引用户观看更多视频,构建信息流,延长用户停留时间等等。问题在于,推荐系统需要根据用户自己撰写的视频标题和描述来确定推送内容。
本:无论你是在搜索视频,还是他们试图决定接下来推荐哪个视频,他们都需要知道视频的内容。
大卫:没错。所以,关于猫的论文证明,你可以使用这项技术,即运行在 Distbelief 上的深度神经网络,来深入 YouTube 库中的视频,了解它们的内容,然后利用这些数据来确定应该向用户推送哪些视频。
本:如果你能回答“猫还是不是猫”这个问题,那你也能回答更多其他问题。
大卫:杰夫·迪恩对此有这样一段话。“我们构建了一个系统,通过模型和数据并行化,使我们能够训练相当大的神经网络。正如你刚才所说,本,我们有一个系统,可以对1000万个随机选择的YouTube帧进行无监督学习。它会尝试从高级表征中重建帧,从而构建无监督表征。我们成功地在2000台计算机上使用16000个核心进行了训练。”
过了一段时间,这个模型竟然能够在最高神经网络层级构建出一个表征,其中一个神经元会对猫的图像产生反应。它之前从未被告知猫是什么,但它在训练数据中看到了足够多的猫的正面面部图像,因此这个神经元会对猫的图像激活,而对其他图像则几乎不产生反应。
本:这太不可思议了。这就是无标签数据和无监督学习最不可思议的地方:一个系统可以在从未被明确告知“猫是什么”的情况下,学习到“猫是什么”。而且,大脑中居然存在一个专门识别猫的神经元。
大卫:然后还有iPhone神经元、旧金山巨人队神经元,以及YouTube推荐的所有内容。
本:更别提色情内容过滤和露骨内容过滤了。
大卫:更不用说版权识别和与版权所有者进行收益分成了。这才是YouTube一切的基础。基本上,正是这些让YouTube走上了如今这条道路,成为互联网上最大的平台,也是全球最大的媒体公司。
这标志着从 2012 年到 2022 年 11 月 30 日 ChatGPT 发布这 10 年期间,人工智能将开始塑造我们所有人的人类生活,并创造数千亿美元的收入。
它最初出现在 YouTube 信息流中,然后 Facebook 借鉴了它,聘请了 Yann LeCun 开展 Facebook 人工智能研究,之后又将其引入 Instagram,TikTok 和字节跳动也开始效仿,最后它又以 Reels 和 Shorts 的形式回归 Facebook 和 YouTube。未来十年,这将成为地球上人类休闲娱乐的主要方式。
本:大卫·罗森塔尔,我最喜欢的一点是,大家都说2022年以后是人工智能时代。我非常赞同你的这个观点:实际上,对于任何能够有效利用推荐系统和分类系统,尤其是在拥有社交信息流的公司里,人工智能时代早在2012年就已经开始了。
大卫:是的,人工智能时代始于2012年,一部分原因是猫的论文。另一部分原因是英伟达的詹森一直称之为人工智能“大爆炸”时刻的AlexNet。
我们聊到了杰夫·辛顿。他在多伦多大学,目前有两位研究生在和他一起工作——分别是亚历克斯·克里热夫斯基和伊利亚·苏茨克维尔。
本:当然。
大卫:OpenAI未来的联合创始人兼首席科学家。他们三人正在与杰夫合作,运用其深度神经网络理念和算法,为著名的计算机科学ImageNet竞赛打造参赛作品。
Ben:这是斯坦福大学李飞飞的作品。
大卫:这是一项年度机器视觉算法竞赛。事情是这样的,菲菲收集了一个包含1400万张人工标注图像的数据库。众所周知,她使用了亚马逊上的Mechanical Turk平台(我记得是这样)来完成这些图像的人工标注。
本:是的,我想是对的。
大卫:比赛的规则是,哪个团队能编写出无需查看标签、仅凭图像就能正确识别出最大比例图像的算法。年复一年赢得比赛的顶尖算法,仍然有超过四分之一的图像识别错误,也就是75%的成功率。不错。比人类差远了。
本:在生产环境中,如果四分之一的时间都是错的,那就没什么用处了。
大卫:然后到了2012年的比赛,AlexNet横空出世。它的错误率是15%。虽然仍然很高,但比之前最好的结果(错误率25%)提高了10%,一年之内就降到了15%。这样的飞跃以前从未发生过。
本:它比排名第二的同类产品相对好40%。大卫,它为什么好这么多?他们究竟发现了什么,才能在未来打造出一家市值4万亿美元的公司?
David:Geoff、Alex 和 Ilya 所做的,是他们知道——我们整集都在讨论——深度神经网络具有巨大的潜力,而且摩尔定律发展到足以使用 CPU 来创建几层。
他们灵光一闪:如果我们重新设计这些程序,使其不运行在CPU上,而是运行在完全不同的、本质上高度并行化的计算机芯片上,会怎么样?比如,当时该领域领先的公司NVIDIA生产的电子游戏显卡。这在当时并不显而易见,尤其不为人知的是,这项高度先进、前沿的计算机科学学术研究……
本:那通常是在超级计算机上完成的。
大卫:……那是在配备强大CPU的超级计算机上完成的,而这些超级计算机却使用玩具般的电子游戏卡。
本:零售价是1000美元。
大卫:那时候花费更少,大概几百美元。多伦多的团队去了当地的百思买之类的商店,买了两个NVIDIA GeForce GTX 580显卡,这在当时是NVIDIA的顶级游戏显卡。多伦多团队用NVIDIA的编程语言CUDA重写了他们的神经网络算法,并在这两个现成的GTX 580显卡上进行训练。他们就是这样构建出深度神经网络的,并且在ImageNet比赛中比其他参赛作品高出40%。
当詹森说这是人工智能的“大爆炸”时刻时,(a) 他说得没错。这向所有人展示了,天哪,如果你用两块现成的 GTX 580 就能做到这一点,想象一下,如果用更多显卡或者专用芯片,你能做到什么。(b) 正是这次事件让英伟达从一家略显挣扎的 PC 游戏配件制造商,一跃成为人工智能浪潮的领军企业,以及当今全球市值最高的公司。
本:人工智能研究通常就是这样,先出现一些突破,带来巨大的飞跃式发展。然后,实际上需要经过多年的优化过程,突破带来的收益会逐渐递减,前半部分的进步可能一蹴而就,而后半部分的进步则需要多年才能实现。但这种情况非常罕见,也令人惊叹。当你有了想法,付诸实践,然后意识到“天哪,我找到了这个领域的下一个巨大飞跃”时,那种感觉一定非常棒。
大卫:就像我解锁了下一关,用电子游戏来打比方。我升级了。所以AlexNet之后,整个计算机科学界都沸腾了。
本:现在人们已经开始不再怀疑神经网络了。
大卫:在 AlexNet 之后,来自多伦多的三位创始人——杰夫·辛顿、亚历克斯·克里热夫斯基和伊利亚·苏茨克维尔——做了一件顺理成章的事:他们创办了一家名为 DNN(深度神经网络)研究公司的企业。这家公司没有任何产品,只有人工智能研究人员。
本:他刚刚赢得了一场大型比赛。
大卫:不出所料,正如你可能猜到的那样,它几乎立即就被谷歌收购了。
本:哦,你是故意缩短这段话的吗?
大卫:我当时也以为故事是这样的。
本:哦,不会马上就发生。
大卫:哦,好的。
本:发生了一件非常疯狂的事情,第一个出价者竟然是百度。
大卫:哦,我不知道。
本:百度出价1200万美元。杰夫·辛顿其实不太会评估这家公司的价值,也不知道这个价格是否合理。他像任何一位学者一样,尽力确定这家公司的市场价值。他说:“非常感谢。我现在要举行一场拍卖。我会以高度结构化的方式进行,每次有人出价后,时间都会重置,然后过一个小时,其他人可以再次出价。”
大卫:不会吧。我不知道这件事。这太疯狂了。
本:他会联系所有他认识的、目前在大公司工作的研究界人士,他认为这些人很适合我们开展研究。这其中包括百度、谷歌、微软,还有另一家公司。
大卫:当然是脸书了。
本:这是一家成立两年的创业公司。
大卫:哦,等等。它不包括Facebook吗?
本:这不包括Facebook。想想现在是什么年份。现在是2012年,Facebook还没真正涉足人工智能领域。他们还在努力建立自己的人工智能实验室。
大卫:因为 Yann LeCun 和 FAIR 都是在 2013 年创立的。是 Instagram 吗?
本:不。这是本集结尾最重要的部分。
大卫:等等。不可能是特斯拉,因为特斯拉比这更古老。
本:不。
大卫:嗯,OpenAI 还要过好几年才能成立。哇。好吧,你这话真把我难住了。
Ben:哪家公司比 OpenAI 稍早一些,并且实际上也在做着同样的工作?
大卫:哦,当然了。明目张胆地隐藏着。DeepMind。哇。
本:是DeepMind,宝贝。他们是DNN Research四方竞标中的第四家。当然,竞标刚开始,DeepMind就不得不退出了。他们是一家初创公司,实际上没有足够的资金来收购。
大卫:我根本没想过这个问题,因为我首先想到的是他们到底从哪儿弄钱来?因为他们根本没钱。
Ben:但 Geoff Hinton 已经认识并尊重 Demis,尽管他当时只是在创办一家名为 DeepMind 的初创公司。
大卫:太棒了。等等,为什么DeepMind参与竞标,而Facebook却没有?
本:这难道不疯狂吗?
大卫:太不可思议了。
本:这件事发生的时间正好与当时的NIPS会议重合。现在它叫NeurIPS大会。杰夫·辛顿实际上是在太浩湖哈里斯赌场酒店的房间里主持拍卖的。
大卫:我的天哪。太棒了。
本:所以竞标结果陆续出来了,我们得感谢《天才制造者》的作者凯德·梅茨,这是一本关于人工智能发展史的佳作,我们在本期节目中会多次引用。竞标价格一路飙升。微软一度退出,后来又重新加入,之前提到的DeepMind也退出了。所以最后真正进入竞标阶段的是百度和谷歌。
最后,研究人员面面相觑,说道:“我们到底想在哪里落脚?我们想和谷歌合作。”他们停止了竞价,出价定在4400万美元,然后说:“谷歌,这笔钱足够了。我们决定和你们合作。”
大卫:哇。我知道大概是4000万美元。我不知道那段往事。这简直跟谷歌的IPO过程如出一辙,都是荷兰式拍卖。真是太贴切了。
本:这DNA配比完美。他们三个原本应该各占33%。亚历克斯和伊利亚去找杰夫说,我觉得你应该占更多比例。我觉得你应该占40%,我们三个各占30%。最后就是这样分配的。
大卫:哇,真是个了不起的团队。这促使他们三人直接加入谷歌大脑,并极大地推动了那里的一切发展。剧透一下,几年后,在塞巴斯蒂安·特伦离开后接任谷歌X负责人的阿斯特罗·泰勒在《纽约时报》一篇关于谷歌X的报道中表示,谷歌大脑为谷歌核心业务(包括搜索、广告和YouTube)带来的收益,远远超过了谷歌X以及公司多年来在其他所有投资项目上所投入的资金。
本:就是这样,如果你把某样东西改进几个百分点,而它恰好能带来数百亿美元甚至数千亿美元的收入,那么你就能在沙发垫里找到不少零钱。
大卫:确实有不少零钱。但这并非谷歌人工智能发展史的全部。谷歌人工智能故事中还有另一项非常重要的组成部分,那就是从外部收购,这相当于谷歌收购YouTube。我们刚才提到的就是DeepMind。
但在我们讲述 DeepMind 的故事之前,现在正是感谢我们的新合作伙伴 Sentry 的好时机。
本:听众朋友们,这就像有人在站岗放哨一样。
David:Sentry 帮助开发者调试各种问题,从错误到延迟和性能问题,几乎涵盖所有软件问题,并在用户不满之前修复它们。正如他们的主页所说,他们“受到超过四百万软件开发者的好评”。
本:今天,我们要聊聊 Sentry 如何与 Acquired 旗下的另一家公司 Anthropic 合作。Anthropic 之前使用过一些老旧的监控系统,但随着规模扩大、系统变得越来越复杂,他们采用了 Sentry 来更快地发现和解决问题。
David:当我们构建像本期节目里讨论的那种人工智能模型时,小问题很容易迅速演变成大问题。假设你正在运行一个大型计算任务,比如训练模型。如果一个节点出现故障,可能会对后续任务造成巨大的影响,耗费大量的时间和金钱。Sentry 帮助 Anthropic 及早发现故障硬件,使他们能够在问题蔓延之前将其淘汰,并将调试时间从几天缩短到几个小时。
Ben:Sentry 还有一个很棒的更新。他们现在推出了一款名为 Seer 的 AI 调试代理。Seer 会利用 Sentry 掌握的所有应用使用信息,在检测到问题时进行根本原因分析。它会分析错误、跨度数据日志和跟踪信息,以及你的代码,从而了解问题的根本原因,修复问题,并让你的应用恢复正常发布。它甚至还会创建拉取请求来合并代码修复。
David:除此之外,他们最近还推出了代理和 MCP 服务器监控功能。人工智能工具通常对底层运行情况的可见性有限。而 Sentry 的新工具可以轻松让你了解所有细节。这涵盖了从实际的人工智能工具调用到不同模型的性能,以及人工智能与下游服务之间的交互等方方面面。
Ben:我们非常高兴能与 Sentry 合作。我们非常欣赏这家公司,而且与我们合作的都是非常优秀的人,他们的客户名单令人惊叹,不仅包括 Anthropic,还包括 Cursor、Versel、Linear 等等。
事实上,如果你身在旧金山或湾区,Sentry 将于 10 月 23 日在旧金山举办一场仅限受邀人士参加的小型活动,我和 Dave 将会出席,活动面向产品开发者。你可以在 sentry.io/acquired 注册,并告诉他们是 Ben 和 David 推荐的。
好的,David,DeepMind。我喜欢你的措辞。人工智能界的YouTube。
David:谷歌的人工智能版 YouTube。
本:他们收购这家公司的价格,我们稍后再谈,但它现在的价值是多少?5000亿美元?就史上最伟大的收购案而言,这堪比Instagram或YouTube。
大卫:百分之百记得。我记得这笔交易达成的时候,就像我记得Instagram的交易达成的时候一样。
本:因为当时这个数字很大。
大卫:这件事当时确实很大,但我记住它的原因却不一样。就像Facebook收购Instagram那样,我的天哪,这简直太惊人了。科技格局发生了翻天覆地的变化。我记得2014年1月,我在TechCrunch上偶然看到了这条新闻。
本:你就像在说,“深奥什么?”
大卫:谷歌花大价钱在伦敦收购了一家我从未听说过的公司,这家公司正在研究人工智能?
本:这充分说明了当时人工智能在主流科技领域是多么的边缘化。
大卫:然后你再深入了解一下,就会发现这家公司似乎没有任何产品。而且,它的网站上也完全没有说明DeepMind到底是做什么的。它只说自己是一家“尖端人工智能公司”。
本:等等。你是用互联网档案馆查到的吗?
大卫:我做了。
本:啊,不错。
大卫:构建用于模拟、电子商务和游戏的通用学习算法。现在是2014年,这根本说不通,也令人费解。
本:模拟、电子商务和游戏。种类繁多,五花八门……
大卫:没错。事实证明,对DeepMind的描述不仅相当准确,而且这家公司以及谷歌对它的收购,就像蝴蝶扇动翅膀一样,直接催生了OpenAI、ChatGPT、Anthropic以及基本上所有的一切。
本:当然是双子座。
大卫:我们知道。是的,Gemini如今直接涉足人工智能领域。
本:考虑到埃隆的参与,很可能还有xAI。
David:当然是 xAI。
Ben:从某种意义上说,这也有助于特斯拉实现自动驾驶,Karpathy。
大卫:当然。那么,事情的来龙去脉是什么呢?DeepMind是由一位名叫德米斯·哈萨比斯(Demis Hassabis)的神经科学博士于2010年创立的。
本:之前是谁创办过电子游戏公司?
大卫:哦,对了,还有一位名叫肖恩·莱格的伦敦大学学院博士后,以及第三位联合创始人,他是德米斯从小到大的朋友,名叫穆斯塔法·苏莱曼。这真是令人难以置信。
本:这后来造就了一位爵士和诺贝尔奖得主。
大卫:首席执行官德米斯从小就是个国际象棋神童,后来成了一名电子游戏开发者。1994年,17岁的他被剑桥大学录取,但当时他年龄太小。大学告诉他,嘿,先休学一年,然后再回来。
他决定去一家名为 Bullfrog Productions 的游戏工作室工作一年。在那里,他开发了一款名为《主题公园》(Theme Park)的游戏,如果你还记得的话。它就像是主题公园版的《模拟城市》(Sim City)。这款游戏非常火爆,商业上也取得了巨大的成功。《过山车大亨》(Rollercoaster Tycoon)就是它的一个克隆版本,并在之后的几年里推出了许多续作。
本:哦,我玩过很多次。
大卫:这游戏在90年代中期卖了1500万份。哇,太疯狂了。之后,他去了剑桥大学,在那里学习计算机科学。从剑桥毕业后,他又重拾游戏行业,创办了另一家名为Elixir的游戏工作室,但最终失败了。然后他决定,你知道吗?我要去读神经科学博士。这就是德米斯最终来到伦敦大学学院的原因。
在那里,他遇到了正在那里做博士后研究的肖恩·莱格。肖恩自称(当时)是人工智能界的“边缘疯子”,因为他坚信——这是2008、2009、2010年——人工智能每年都会变得越来越强大,最终会强大到超越人类的智能。肖恩是推广“通用人工智能”(AGI)这一术语的人之一。
本:哦,有意思。当然,现在很多人都在谈论这个话题,但当时几乎没人害怕过。或许有像尼克·博斯特罗姆那样的人,但很少有人会去思考超级智能、奇点之类的东西。
值得一提的是,埃隆·马斯克不在名单上,因为德米斯会告诉埃隆这件事。
大卫:好的,我们会说到这儿的。德米斯和肖恩一拍即合。他们拉来了德米斯的儿时好友穆斯塔法,穆斯塔法本人也极其聪明。他曾就读于牛津大学,然后(我记得是)19岁的时候辍学,去做其他创业方面的事情。
他们三人决定创办一家公司,取名DeepMind,这个名字(当然)指的是深度学习、杰夫·辛顿的研究以及多伦多大学的所有成果。至于他们三人利用深度学习创造一个智能体,杰夫、伊利亚和亚历克斯目前还没真正考虑过这个问题。正如我们所说,这完全是异想天开。
本:AlexNet、猫咪论文,整个领域都在研究如何更好地对数据进行分类。我们能否更好地将数据按模式分类?从那里到说“哦,我们要创造智能”,还有很长的路要走。
大卫:我认为可能有些人,很可能是谷歌内部的人,当时在想,哦,我们可以创造出在某些任务上比人类更优秀的狭义智能。
本:在某些任务上,计算器比人类更胜一筹。
大卫:但我认为当时没多少人想到,哦,这将会是一种比人类更聪明的通用智能。所以他们决定把公司的标语定为“解决智能问题”,并用它来解决其他一切问题。
本:哦,我喜欢。
大卫:我喜欢,没错。这些人营销做得也很好。只是有个问题。要实现他们想做的事……
本:钱。直说吧。钱。钱才是问题所在。
大卫:没错,资金是个大问题,原因有很多。但与其他2010年代的创业公司相比,他们面临的挑战尤其巨大,他们不能像其他公司那样,简单地启动一个AWS实例,开发一个应用,然后部署到应用商店。他们想要构建规模庞大、极其复杂的深度学习神经网络,这需要谷歌级别的计算能力。
本:嗯,这很有意思。其实,他们目前并不需要那么多资金。当时的AI技术只需要几块GPU就行了。我们还没开始训练巨型LLM(逻辑逻辑模型)。那当然是最终目标,但现在他们只需要筹集几百万美元。但是,在没有商业计划,只是想解决智能问题的时候,谁会给你几百万美元呢?你得找到一些疯子才行。
大卫:这很难说服风险投资家。
本:除了正右边——
大卫:正如你所说,他们需要找一些疯子。
本:哦,我说话很谨慎。
大卫:我们在……中使用“疯子”这个词。
本:有点可爱。
大卫:……考虑到他们说的基本都对,这或许是最令人感动的方式了。所以,在2010年6月,德米斯和肖恩成功受邀参加了在加利福尼亚州旧金山举行的奇点峰会。
本:因为伦敦没有为此筹款。
大卫:绝对不是。我觉得他们尝试了几个月,然后发现这条路行不通。奇点峰会是由雷·库兹韦尔(Ray Kurzweil,我猜他后来成了谷歌员工,首席未来学家,著名未来学家)、埃利泽·尤德科夫斯基(Eliezer Yudkowsky)和彼得·蒂尔(Peter Thiel)组织的。德米斯和肖恩对收到邀请非常兴奋。他们觉得,这可能是我们获得资助的唯一机会了。
本:但是我们可能不应该贸然闯进去,然后说:“彼得,我们可以向你推销吗?”
大卫:是啊。所以他们想方设法让德米斯在峰会上发表演讲。
本:总是那个黑客。
大卫:太棒了。这将是一次成功的尝试。这次演讲的内容是我们向彼得和创始人基金推介我们的项目——彼得当时刚刚创立了创始人基金,他是PayPal黑帮的一员,非常富有。
本:我认为,说他当时拥有一大笔罗斯个人退休账户(Roth IRA)资金是正确的。
大卫:他用自己的巨额罗斯个人退休账户投资了Facebook,他是Facebook的首批投资者之一。他是完美的靶子,是策划者,峰会上的演讲就是直接向彼得推销产品。本质上就是一个隐晦的推销。
谢恩在帕米·奥尔森的杰作《至高无上》中引用了一句话,我们以此作为DeepMind故事的许多素材来源。谢恩说:“我们需要一个足够疯狂的人来投资一家通用人工智能公司。这个人必须有足够的资源,不为几百万美元斤斤计较,并且喜欢雄心勃勃的项目。” 他还必须极具反叛精神,因为他遇到的每一位教授都会劝他,千万别考虑投资这个项目。这听起来确实很像彼得·蒂尔。
于是他们到了会议现场,德米斯要发表演讲,他走上台,环顾观众席,发现彼得不在。原来彼得并没有真正参与到这次会议中。
本:不,他很忙。他是联合创始人、联合组织者,总之很忙。
大卫:那家伙当时就想,糟了,我们错失良机了。这下怎么办?然后运气突然好转。他们发现彼得当晚会在旧金山的家里举办一个派对。
他们进了派对,德米斯去找彼得。德米斯非常非常非常聪明。任何听过他说话的人都会立刻明白这一点。他心想,与其直接跟彼得搭讪,不如换个角度,用迂回的方式。
他开始和彼得聊国际象棋,因为他知道,就像所有人一样,彼得·蒂尔热爱国际象棋。德米斯在14岁以下组别中,青少年时期曾是世界排名第二的棋手。
本:好策略。
大卫:好策略。这人很懂棋。彼得说,嗯,我挺喜欢你的。你看起来很聪明。你是做什么的?德米斯解释说他创办了一家通用人工智能(AGI)初创公司,他们也来了,他会在大会上做演讲,大家都很兴奋。彼得说,哦,好的。那你明天再来创始人基金给我做个项目路演吧。
他们确实这么做了。他们进行了路演。一切顺利。Founders Fund领投了DeepMind的种子轮融资,金额约为200万美元。哎,如今人工智能公司的种子轮融资模式真是今非昔比啊。
本:哦,是的。
大卫:想象一下,你用不到200万美元的资金领投DeepMind的种子轮融资。通过彼得和Founders Fund的介绍,他们得以相识……
本:嘿,埃隆,你应该见见这个人。
大卫:……对PayPal黑手党的另一位成员说。埃隆·马斯克。
本:这事儿安排得挺低调的。嘿,埃隆,你应该见见这个人。他很聪明,正在研究人工智能。埃隆说,好啊,来SpaceX吧。我带你参观一下。
德米斯过来参加产品发布会并参观工厂。当然,德米斯觉得这很酷,但他实际上是想把话题引到人工智能上。
我将朗读《卫报》一篇文章中的一段精彩摘录。“马斯克告诉哈萨比斯,他的首要任务是登陆火星,作为地球出现问题时的备用星球。我认为他当时还没有过多考虑人工智能的问题。”
哈萨比斯指出了他计划中的一个缺陷。我说,如果人工智能才是问题所在,那么即使我们到了火星也无济于事,因为如果我们到达了火星,人工智能显然很容易就能通过我们的通信系统或其他途径到达那里。
他之前没想过这一点。他坐在那里沉默了一会儿,只是在想,嗯,这或许是真的。不久之后,马斯克也成为了DeepMind的投资人。
大卫:是的,是的,是的。
本:我觉得很疯狂,是德米斯让埃隆意识到,我们可能也无法免受火星人工智能的威胁。
大卫:我之前没考虑到这一点。
本:所以这是埃隆第一次真正意识到,我们需要为人类福祉开发出安全可靠的人工智能,这个想法的种子在他脑海中种下。这当然也是DeepMind的愿景。我们像科学家一样,以同行评审的方式进行研究,造福人类。
大卫:我认为这些都属实。此外,在德米斯和埃隆会面以及埃隆投资DeepMind后的几个月到一年内,埃隆也开始对人工智能在短期内的能力,特别是人工智能对特斯拉的潜力,感到非常兴奋和确信。
本:就像埃隆世界里的其他一切一样,一旦他转变了方向,对某件事产生了兴趣,他就会彻底改变看待世界的方式,彻底抛弃他过去的所有方式和行为,而这一切都关乎我该如何做才能接受我所拥有的这种新的世界观。
大卫:而且其他人也已经研究这个问题一段时间了。人工智能驾驶汽车。这听起来对特斯拉来说是个相当不错的想法。
本:确实如此。
大卫:所以埃隆开始尽可能多地招募人工智能研究人员、机器视觉和机器学习专家加入特斯拉。然后AlexNet就出现了。天哪,AlexNet在识别和分类YouTube上的图像和猫咪视频以及YouTube推荐信息流方面真的非常非常出色。那么,这和实时接收正在行驶的汽车的视频流并理解其中发生的事情,真的有那么大的区别吗?
本:我们可以实时处理并查看帧之间的差异吗?
大卫:或许是控制汽车?其实差别不大。埃隆最初通过DeepMind和Demis对人工智能的热情,以及特斯拉的人工智能应用,都开始迅速升温。
与此同时,在伦敦,DeepMind 已经开始行动了。他们正在招聘研究人员,着手构建模型,并向投资者透露了一些关于产品的模糊信息。或许我们会涉足购物领域,或许会涉足游戏领域,就像收购时网站上描述的那样。但他们真正想做的,还是构建这些模型,致力于人工智能的研究。
2013 年末的一天,他们接到了马克·扎克伯格的电话。他想收购这家公司。马克已经意识到 AlexNet 之后谷歌发生的一切,以及人工智能在 YouTube 社交媒体信息流推荐方面所发挥的作用,还有它在 Facebook 和 Instagram 上可能带来的巨大潜力。他立即招募了 Yann LeCun,这位 Geoff Hinton 的老博士后,与 Geoff 一起,被誉为人工智能和深度学习领域的奠基人之一。
Ben:他真正普及了卷积神经网络的概念,这是目前人工智能领域的下一个热门领域。
大卫:于是,他和扬一起创建了FAIR(Facebook AI Research),这是Facebook内部与谷歌大脑竞争的部门。还记得Facebook的第一位投资人是谁吗?他现在仍然是董事会成员……
本:彼得·蒂尔。
大卫:……他也是DeepMind的主要投资人。你觉得马克是从哪里了解到DeepMind的?彼得·蒂尔。
本:是吗?你确定是彼得送的吗?
大卫:不,我不能确定,但马克还能通过什么途径了解到这家位于伦敦的创业公司呢?
本:我有一个关于拉里·佩奇如何发现这件事的精彩故事。
大卫:哦,好的。我们马上就说到这儿。马克打电话来,提出收购这家公司。关于马克出价多少,众说纷纭,但据帕米·奥尔森在她的著作《至高无上》中所述,有报道称出价高达8亿美元。这家公司当时没有任何产品,距离通用人工智能(AGI)还很遥远。
本:这与凯德·梅茨在他的书中提出的观点一致,即创始人如果接受 Facebook 的收购要约,获得的收益将比接受谷歌的收购要多出大约两倍。
大卫:没错。所以德米斯当然会把这个消息告诉投资者团体。
本:顺便说一句,这完全违背了公司创立的初衷。公司的宗旨,以及他向团队的承诺,就是DeepMind要保持独立,进行研究,并在科学界发表论文。我们不会被资本主义机构的意志所左右,任其摆布。
大卫:没错。如果这项提议要最终达成,肯定需要和马克以及Facebook就一些细节问题进行谈判。
本:但马克现在非常绝望,他愿意就一些非常重大的交易条款进行谈判,比如让扬·勒昆留在纽约,让他继续在纽约大学运营他的实验室。
Yann LeCun是一位教授,他在某些事情上比较灵活。但事实证明,如果Mark收购了DeepMind,他绝不会让Demis继续掌控DeepMind。Demis力主DeepMind保持独立,并设立一个独立的监督委员会,以便在DeepMind的使命偏离时,Demis能够介入。而Mark的回答是:不行。你将成为Facebook的一部分。
大卫:你会赚很多钱。谈判进行的同时,DeepMind的投资者们当然也察觉到了。埃隆得知此事后,立即打电话给德米斯说:“我马上用特斯拉股票收购这家公司。”
那是2013年末2014年初。特斯拉的市值大约是200亿美元。从那时到现在,特斯拉的股价上涨了大约70倍。德米斯、肖恩和穆斯塔法当时都惊呆了,心想:哇,好吧。现在事情真不少。但正如你所说,他们和埃隆以及特斯拉之间存在着和马克一样的问题。埃隆想让他们加入特斯拉,参与自动驾驶的研发。但他们并不想参与自动驾驶的研发。
本:或者至少完全如此。
大卫:至少是完全如此,没错。然后德米斯接到了拉里·佩奇的第三个电话。
本:你想听听拉里是如何了解这家公司的故事吗?
大卫:我非常想知道拉里是如何了解这家公司的。
本:好的。DeepMind 还处于早期阶段。我们还没有发展到被收购的地步。据说埃隆·马斯克正和卢克·诺塞克(PayPal 黑帮的另一位成员,也是 DeepMind 的天使投资人)一起乘坐私人飞机。
他们正在阅读Demis发来的邮件,邮件中提到了他们取得的一项突破:DeepMind人工智能找到了一种巧妙的方法来赢得雅达利游戏“打砖块”(Breakout)。这项无需人类训练的策略是,玩家可以先让球沿着砖块边缘向上弹跳,然后无需人工干预,球就能沿着砖块顶部弹跳,从而更快地赢得游戏,而无需玩家频繁地与底部的挡板互动。
他们正在观看这段视频,欣赏它的巧妙之处,而与他们同乘一架私人飞机的正是拉里·佩奇。
大卫:当然,因为埃隆和拉里曾经是很好的朋友。
本:是啊,拉里当时就想,什么?等等,你在看什么?这是哪家公司?他就是这样发现的。
大卫:哇。埃隆肯定为此非常生气。
本:更不可思议的是,拉里和德米斯之间的这种亲近关系(我认为)正是谷歌最终达成这笔交易的原因。
大卫:他们俩一旦聚在一起,就形影不离。拉里一直把谷歌视为一家人工智能公司。当然,德米斯也把DeepMind视为一家人工智能公司,以至于他甚至不想在实现通用人工智能之前推出任何产品。
本:事实上,德米斯——我们应该跟听众们分享一下——在为这期节目做准备时跟我们聊过,他觉得拉里完全理解了。拉里完全认同DeepMind所做的一切。
大卫:谷歌还有一点非常方便。他们已经有了 Brain。拉里不需要德米斯、肖恩、穆斯塔法和 DeepMind 来谷歌开发产品。Brain 已经在谷歌内部开发产品了。所以当拉里说“不,留在伦敦吧。继续研究智能。做你正在做的事情。我不需要你来谷歌开发产品”时,德米斯完全可以相信他。
Ben:Brain 团队积极与产品团队沟通,努力思考如何将神经网络应用到产品中以改进产品。这就是他们存在的意义,所以他们很乐意同意这项提议。
大卫:而且效果显著。大脑和神经网络正在被整合到搜索、广告、Gmail以及所有领域。这里是DeepMind的理想归宿。可以说,这里就像是他们的第二个家。
谷歌与DeepMind完美契合的第三个原因在于——基础设施。谷歌拥有你所需要的一切计算基础设施,唾手可得。
本:至少就CPU而言是这样。那么这笔交易究竟是如何达成的呢?嗯,在收购DNN Research之后,你之前采访过的艾伦·尤斯塔斯(Alan Eustace)当时是谷歌的工程主管。他下定决心要尽可能地招揽所有最优秀的深度学习研究人才,而且他为此制定了清晰的方案。几个月前,拉里·佩奇(Larry Page)在南太平洋的一个岛屿上召开了一次战略会议。在凯德·梅茨(Cade Metz)的书中,这个岛屿的具体位置并未公开。
大卫:他当然做了。
本:拉里认为深度学习将彻底改变整个行业,所以他告诉他的团队:“让我们大干一场”,这实际上给了艾伦一张空白支票,让他去招揽所有他能找到的最优秀的研究人员。于是在2013年,他决定,我要在12月假期前坐飞机去见见DeepMind。
这事儿说来有点离奇。当时在谷歌工作的杰夫·辛顿背部有伤,坐不下来,只能站着或躺着。所以,长途跨洋飞行对他来说是不可能的。但他必须到场参与尽职调查。既然有杰夫·辛顿,就得让他来评估你是否要收购一家深度学习公司。
艾伦·尤斯塔斯决定包一架私人飞机,并打造一个疯狂的定制安全带装置,这样杰夫·辛顿在起飞和降落时躺在地板上就不会滑动了。
大卫:哇。我刚才也在想这个问题,我觉得谷歌肯定有飞机。他们完全可以坐谷歌的飞机过去。
本:不知何故,这是一份单独的包机。
大卫:但光靠私人飞机是解决不了问题的。你还需要安全带。
本:艾伦可是创下世界纪录的那位,他从世界上最高的……是热气球吗?我记不清了。反正他是有史以来跳伞最高的自由落体跳伞者。甚至比几年前红牛的特技跳伞还要高。他很擅长为飞机设计定制的跳伞装备。他当时就说,哦,没问题。你只需要一张床和几根带子就行了。我穿着潜水服就从大气层跳下来了。我想我们肯定没问题。
大卫:那真是太棒了。
本:所以他们飞到伦敦,进行尽职调查,达成交易。德米斯和拉里关系很好,交易就此完成。5.5亿美元。成立了一个独立的监督委员会,确保DeepMind的使命和目标得到切实执行。谷歌目前拥有的这项资产,我认为如果它保持独立运营,价值将达到五千亿美元。
大卫:你知道PayPal被收购后,PayPal黑手党中还有哪些成员被安排进入道德委员会吗?
本:里德·霍夫曼?
大卫:里德·霍夫曼。
本:鉴于之后与 OpenAI 的平局,肯定如此。
大卫:我们一会儿再回到里德的话题。
本:收购之后,一切进展得非常顺利,速度也很快。众所周知,数据中心冷却项目就是个很好的例子,DeepMind 特地抽调了一部分团队前往谷歌,寻找 DeepMind 的技术应用场景。其中一个应用领域就是数据中心冷却。
2016年7月,谷歌迅速宣布将数据中心冷却所需的能源减少了40%。谷歌拥有大量的数据中心,这相当于减少了40%的能源消耗。我当时和吉姆·高(Jim Gao)聊过,他是我们节目的老朋友,也是这个项目的主要负责人之一。这可以说是谷歌内部最直接、最显而易见的神经网络应用案例,而且很快就能收回成本。
大卫:想想看,这笔收购很快就收回成本了。
本:大卫,我们这期节目要不要聊聊AlphaGo?
大卫:是啊,是啊,是啊。
本:我看了谷歌制作的那部纪录片,非常棒。即使你不是为了找播客节目做研究,只是想随便看看,消磨一两个小时,这部纪录片也很值得一看。我强烈推荐,YouTube上有。
这是DeepMind在被谷歌收购后,如何训练出一个模型击败围棋世界冠军的故事。当时整个围棋界都认为这根本不可能。李世石棋艺高超,人工智能根本不可能战胜他。
这是一场五局大战。它连赢三局,完全碾压对手,而且使出了人类前所未见的创新招式。这才是最令人震惊的地方。
大卫:在其中一局游戏中,有一回合棋局让人觉得,这是不是个错误?[…] 第 37 回合,然后 100 回合后,结果就出来了。
本:这真是天才之举。现在人类正在学习DeepMind的策略,通过参与游戏来发现新的策略。
对于那些已经熟悉围棋的听众来说,这或许会让他们感到疑惑:为什么是围棋?围棋明明很复杂。相比之下,国际象棋在每回合开始时只有20步棋可以选择,而到了棋局中期,却有30到40步棋可以选择。
围棋每回合大约有 200 个棋子。从组合学的角度来看,棋盘上可能的排列组合数量比宇宙中的原子数量还要多。
顺便说一句,这是德米斯的一句名言。他说:“即使你把全世界所有的计算机都拿出来,从2017年开始运行一百万年,计算能力也不足以计算出所有可能的变化。”
它很酷,因为这个问题无法用蛮力解决。你必须借助神经网络之类的工具,而这其中也存在着巨大的创新和探索空间。它为观察神经网络如何与人类的创造力相抗衡提供了一个绝佳的平台。
大卫:当然,这完全符合德米斯的背景以及公司玩游戏的传统。德米斯是国际象棋冠军。然后,他们玩完围棋之后,就玩星际争霸,对吧?
本:哦,真的吗?我之前真不知道。
大卫:那是他们接下来要挑战的游戏。星际争霸,一款与对手对战的即时战略游戏。稍后我们会用OpenAI的另一位对手再次测试这款游戏。
本:是的,大卫。但在我们讨论另一个对手的创建之前,我们是否应该感谢一下我们在Acquired的另一位朋友?
大卫:是的,我们应该这样做。
本:好的,听众朋友们。今天我们来给大家介绍一位节目新朋友。我们非常兴奋地向大家介绍WorkOS。
大卫:如果你开发的是企业级软件,你可能已经体会过集成单点登录 (SSO)、敏感信息安全管理 (SCIM)、权限管理、审计日志以及其他大型客户所需功能的痛苦。如果你还没体会过这种痛苦,那就等着瞧吧,等你拿到第一个大型企业客户的时候,相信我们,你肯定会明白的。
Ben:WorkOS 将这些潜在的交易障碍转化为简单易用的即插即用型 API。几年前,WorkOS 的产品/市场契合度很高,尤其受到那些只想省去一些麻烦的开发者的青睐;而在人工智能时代,它们更是变得不可或缺。
大卫:他们发来最新的客户名单时,我简直震惊了。几乎所有大型人工智能公司现在都使用 WorkOS,正是它帮助他们实现了如此快速的收入增长。像 OpenAI、Anthropic、Cursor、Perplexity、Sierra、Replit、Vercel 等公司,以及数百家其他人工智能初创公司,都依赖 WorkOS 作为他们的身份验证解决方案。
Ben:我打电话给创始人询问原因,他说主要有两个原因:(1)在人工智能时代,这些公司发展速度非常快,因此它们需要快速实现授权、身份验证和 SSO 等功能,以便在早期阶段就达到企业级水平并满足客户需求,这与过去的 SaaS 公司不同。
  1. 与过去那种你可以为自己和小团队开发小型SaaS产品的世界不同,这些人工智能产品会深入到你公司的系统和数据中,以发挥其最大效用。IT部门比以往任何时候都更加严格地审查新产品,确保它们符合规范后才能被采用。
大卫:这就像是人工智能时代的一个次级效应,过去那种“哦,只要刷个信用卡,自带SaaS解决方案就能用”的日子已经一去不复返了。现在,你实际上需要比以前更早地做好企业级部署的准备。
本:这不仅仅是拿下潜在客户以获取收入那么简单。更重要的是,要阻止你的竞争对手抢占先机。企业级部署已成为各行各业公司(无论处于哪个发展阶段)的必备条件,而 WorkOS 基本上是顶尖软件公司简化部署流程、重新专注于产品开发本身的利器。
David:阿门,阿门。所以,如果您准备好用几行代码轻松实现 SAML SCIM、ARBAC、SSO、授权、身份验证以及其他所有能让 IT 管理员满意的功能,那就来看看 WorkOS 吧。它是一个现代化的软件平台,可以帮您实现这一切。网址是 workos.com,就说是 Ben 和 David 推荐的。
本:好的,大卫。谷歌收购DeepMind会产生哪些次生影响?
大卫:嗯,有一个人对此事非常非常非常不满,如果算上马克·扎克伯格的话,可能有两个人,不过马克比较低调。当然,埃隆·马斯克对这次收购非常不满。
当谷歌从他手中收购DeepMind时,埃隆勃然大怒。正如我们所说,埃隆和拉里一直关系非常密切。现在谷歌来了,而埃隆已经开始对谷歌有些不满,因为谷歌现在正试图招揽人工智能研究人员。艾伦·尤斯塔斯飞遍全球,把所有的人工智能研究人员都招进了谷歌,而埃隆投资了DeepMind,原本想把DeepMind纳入特斯拉自己的人工智能团队,结果却被谷歌出卖了。
这促成了硅谷历史上最具决定性的晚宴之一,这场晚宴于2015年夏天在桑德希尔路上的罗斯伍德酒店举行。当然,在硅谷,除了罗斯伍德酒店,还能在哪里举办晚宴呢?晚宴的举办者是当时硅谷两位最具影响力的人物:埃隆·马斯克和萨姆·奥特曼。萨姆当时是Y Combinator的总裁。这场晚宴的目的是什么?他们此行的目的是向所有人工智能研究人员推销他们的理念,而谷歌,以及在某种程度上,Facebook,已经将他们牢牢掌控,并基本上形成了双寡头垄断的局面。
本:再说一遍,谷歌的商业模式和脸书的商业模式,这些信息流推荐器或分类器最终被证明非常有价值,所以他们可以——事后看来这很可笑——花很多钱雇佣这些人。
大卫:数不清的钱,数百万美元。
本:把他们从学术界带出来,放到公司里那些肮脏的资本主义研究实验室里去。
大卫:卖广告。这能有多肮脏?埃隆和萨姆在晚宴上向在场的各位研究人员提出的问题是:要怎样才能让你们离开谷歌?几乎所有人都给出了相同的答案:什么都不能。我们不会离开。我们为什么要离开?我们的收入远远超过想象,许多人还能保留学术职位和隶属关系,而且还能继续在谷歌工作——
本:彼此之间?
大卫:——彼此之间。
本:铁能磨铁。这里汇聚了世界上最顶尖的人才,他们可以利用大量的资源和硬件进行前沿研究。这太棒了。
大卫:这是世界上最好的基础设施。杰夫·迪恩也在。无论你说什么,我们都不会离开谷歌。不过,有一个人对此很感兴趣,引用一下凯德·梅茨当时在《连线》杂志上发表的一篇精彩文章的话,他后来还写了《天才制造者》这本书,对吧?
本:没错。
大卫:原文是这样的:“问题在于,很多最有资格解决这些问题的人都已经在谷歌工作了。晚宴上没人确定能不能把这些思想家招到一家新公司来,即便马斯克和奥特曼是幕后推手。但至少有一位关键人物对跳槽持开放态度。这位关键人物还说了这样一句话:‘我觉得这其中有风险,但我也觉得这会是一件非常有趣的事情,值得一试。’”
本:这简直是伊利亚最经典的语录了。
大卫:这绝对是伊利亚·苏茨克维尔(Ilya Sutskever)最经典的语录,因为他(当然)是AlexNet、DNN Research和谷歌的伊利亚·苏茨克维尔,而且即将成为OpenAI的创始首席科学家。埃隆和萨姆向这些研究人员提出的方案是:让我们成立一个新的非营利性人工智能研究实验室,在那里我们可以公开地开展所有这些工作。你们可以发表论文。
本:摆脱了脸书和谷歌的势力,也不受它们的控制。
大卫:你不必从事产品开发,只需专注于研究。你可以发表你的研究成果。它将是开放的,造福全人类。所有这些令人难以置信的进步,我们相信即将到来的智能,都将造福所有人,而不仅仅是谷歌和脸书。
本:对其中一位研究人员来说,这简直好得令人难以置信。他们基本上没做,因为他们觉得没人会做。这是一个活化能问题。顺便说一句,谷歌提出了一个很高的报价,大概是原来的两倍。我记得好像是杰夫·迪恩亲自送来的。伊利亚说,不,我要自己做。这对他争取到其他顶尖研究人员加入至关重要。
大卫:而且这远不是所有离开谷歌的顶尖研究人员都参与进来,但这已经足够了。大约有七位研究人员离开了谷歌,加入了埃隆·马斯克、萨姆·马斯克和Stripe的格雷格·布罗克曼的团队,共同创建了OpenAI。因为这就是他们的理念:我们要完全公开透明地开展这项工作。
本:没错,就是这样。
大卫:事实的确如此。OpenAI 的既定使命是“以最有可能造福全人类的方式推进数字智能发展,而不受产生经济回报的需求所束缚。”
本:只要你完成使命所需的资金不超过数百亿美元,那就没问题。他们最初的融资方式是这样的:有人承诺捐赠10亿美元。这笔钱来自埃隆·马斯克、萨姆·奥特曼、里德·霍夫曼、杰西卡·利文斯顿(我想大多数人可能不知道她也是首批捐赠者之一)以及彼得·蒂尔。当然,创始人基金后来也向OpenAI投入了大量资金。
有趣的是,后来有报道称,实际筹集到的十亿美元并不多。真正用于资助这家非营利组织的资金只有大约1.3亿美元。在最初几年,这笔钱对于他们开展的研究类型和所需的计算能力来说已经足够了。
大卫:大部分钱都用来支付研究人员的薪水了。虽然不如他们在谷歌和脸书赚得多,但对这些人来说,仍然是100万到200万美元。
本:这招一开始确实管用,直到后来彻底失效了。大卫,他们早期都在做什么?
大卫:最初几天,大家全力以赴地招募研究人员。最初来了一批人。之后不久,在2016年初,他们迎来了一次重大胜利:达里奥·阿莫迪离开谷歌,加入伊利亚和他的团队,成为OpenAI的一员。梦之队就此集结。
本:他之前用过谷歌大脑吗?
大卫:他曾在谷歌大脑工作。在接下来的几年里,他和伊利亚一起负责OpenAI的大部分工作,之后(当然)他们离开了OpenAI,创办了Anthropic公司。
但距离 Anthropic、Clause、ChatGPT、Gemini 以及如今的所有这些项目,我们至少还需要一两年的时间才能实现。基本上,OpenAI 的计划是,先观察 DeepMind 的发展,然后向研究界证明,作为一个新兴实验室,我们也能做到他们正在做的那些令人惊叹的事情,甚至可能做得更好。
Ben:这就是为什么它看起来如此像游戏,如此注重游戏性的原因吗?
大卫:是的。他们开始构建模型来玩游戏。最著名的例子就是他们做的 Dota 2(Defense of the Ancients 2),这款大型多人在线竞技游戏。他们会想,好吧,DeepMind,你们在玩星际争霸。那我们就去玩 Dota 2。它更复杂,更实时。
本:就像围棋的涌现特性一样,这款游戏会涌现出一些人类根本不会尝试的独特策略。显然,它并非人类预先编写的、他们最喜欢的策略和规则。它是涌现出来的。他们做了其他的事情。
他们曾推出过一款名为“Universe”的产品,旨在训练计算机玩数千款游戏,从雅达利游戏到《侠盗猎车手》之类的开放世界游戏,应有尽有。他们还开发过一个项目,教模型如何解魔方。这些项目五花八门,但似乎没有哪个会成为主流。
大卫:那是研究方面的东西。那是DeepMind公司正在做的事情。
本:这是一项大学研究。
大卫:这就像DeepMind的情况一样。想想埃隆当年也是DeepMind的投资人,后来谷歌收购DeepMind让他非常恼火,这就说得通了。
本:我认为埃隆功不可没,因为他在OpenAI创立之初就投入了大量时间和精力。很多重量级人物的加入,都离不开埃隆的鼎力支持,他表示“我愿意冒险一试”。
大卫:当然。
本:好的,这就是OpenAI那边的情况。他们做了很多类似DeepMind的事情,很多项目,但没有一个明显的、集中精力去做的大项目。这么说吧,现在还不是开发ChatGPT的时候。
我们还是回到谷歌吧。上次我们谈到他们的时候,没错,他们收购了DeepMind,但他们的人才却被挖走了。我不想让你们因为一些人去了OpenAI就对谷歌的现状产生误解。
2013年,Alex Krizhevsky与Geoff Hinton和Ilya Skiver一同加入谷歌时,他震惊地发现他们现有的所有机器学习模型都运行在CPU上。此前,人们曾多次要求使用GPU,因为机器学习工作负载非常适合并行运行,但谷歌的基础设施团队却拒绝了,他们认为扩展和多样化GPU集群会增加复杂性,所以还是保持简单为好。“这对我们来说似乎并不重要。”
大卫:我们这里是卖CPU的。
本:引用《天才创客》中的一段话,“他刚到公司几天,就去当地一家电子商店买了一台GPU机器,”这位是亚历克斯,“把它放在办公桌旁走廊尽头的壁橱里,接上网络,然后就开始用这台借来的硬件训练他的神经网络。就像他在学术界做的那样,只不过这次谷歌付了电费。”
显然,一块GPU是不够的,尤其是越来越多的谷歌员工也想开始使用它。杰夫·迪恩和艾伦·尤斯塔斯也得出结论,Distbelief虽然很出色,但必须重新设计架构才能在GPU而不是CPU上运行。
2014年春天来临了。杰夫·迪恩和约翰·詹南德里亚,我们这期节目还没提到他们……
David:是的,JG。
本:……是的,你可能在想。等等,那不是苹果公司的那个人吗?没错。他接着和苹果公司的人工智能主管——当时他在谷歌,负责2014年的谷歌大脑项目——坐下来制定计划,正式将GPU部署到谷歌的数据中心,这可是件大事。这是一次巨大的变革。但他们看到了神经网络带来的足够多的积极反响,所以他们知道应该这样做。
David:AlexNet 之后出现只是时间问题。
本:是的。所以他们最终决定向英伟达订购4万块GPU。
大卫:当然。不然你还能从谁那里订购呢?
本:这笔订单价值1.3亿美元。这个价格实在太高了,以至于这份申请直接送到了拉里·佩奇手里,他亲自批准了,尽管财务部门一开始想否决它,因为他认为,谷歌的未来在于深度学习。顺便一提,我们来看看当时的英伟达。这是一笔巨额订单。他们的总收入是40亿美元,而这仅仅是一笔价值1.3亿美元的订单。
大卫:英伟达目前主要是一家消费级显卡公司。
本:是的,他们的市值高达100亿美元。这就像谷歌向英伟达透露了一个秘密:嘿,这不仅在像ImageNet竞赛这样的研究中有效,而且神经网络对我们公司来说也极具价值,值得我们现在毫不犹豫地投资超过1亿美元。
我们迟早要问问 Jensen 关于这件事。这肯定是个信号。这肯定让 NVIDIA 信心倍增,觉得应该继续投资,因为这在未来会成为一项巨大的成就。
于是,整个谷歌都意识到了这一点,并开始将其真正融入到产品中。谷歌相册应运而生,Gmail 也开始提供输入建议。正如你之前指出的,谷歌庞大的 AdWords 业务也开始探索利用深度学习赚取更多利润的方法。
尤其是在整合了这项技术之后,他们就能开始预测用户未来会点击哪些广告。因此,谷歌在最初的1.3亿美元投入基础上,又追加了数亿美元用于购买GPU,但很快就从广告系统中收回了成本。对他们来说,尽可能多地购买GPU变得越来越划算。
但神经网络一旦开始发挥作用,任何使用它的人,尤其是像谷歌这样规模的用户,都会遇到这个问题。现在,每次使用神经网络都需要进行大量的矩阵乘法运算。矩阵乘法实际上是实现神经网络层间传播的方式。所以,问题就出现了。
大卫:完全正确。这不仅效率低下,而且还存在一个商业问题,等等。看来在可预见的未来,我们每年都要向英伟达支付数亿美元,很快就会是数十亿美元。
本:谷歌在Nexus手机上推出语音识别功能(这是他们神经网络的最新应用)之后,出现了一个令人惊叹的时刻。因为他们还没有基础设施来支持所有安卓手机。结果,语音识别功能迅速走红。
Jeff Dean 计算了一下,发现如果人们每天使用这项功能(我不知道该怎么称呼它)三分钟,而我们将其推广到所有十亿部安卓手机上,那么我们需要比目前整个谷歌拥有的数据中心数量多一倍的数据中心才能处理它。
大卫:仅用于此功能。
本:杰夫跟乌尔斯·霍尔兹勒说过一句很棒的话,他说我们需要另一个谷歌。或者,就像大卫刚才暗示的那样,另一种选择是,我们可以专门为我们的特定应用场景定制一种新型芯片。
大卫:矩阵乘法。张量乘法。或者说,张量处理单元。
本:那岂不是很棒?巧的是,谷歌工程师乔纳森·罗斯(Jonathan Ross)当时正利用他20%的空闲时间研究FPGA。FPGA本质上是一种价格昂贵但可编程的芯片,能带来非常出色的效果。他们决定正式启动一个项目,将这项研究成果与其他现有成果相结合,并构建一个定制的ASIC(专用集成电路)。
正如你所说,David,专为神经网络设计的张量处理单元(Tensor Processor Unit)应运而生。它比当时的GPU效率高得多,但缺点是用途有限。它不擅长图形处理,也不擅长其他许多GPU工作负载,只能用于矩阵乘法和神经网络。不过,它可以让谷歌在无需大幅扩容的情况下扩展其数据中心。
如果你想了解TPU背后的核心理念,那就是它采用了降低计算精度的方法。例如,它会将4586.8272这样的数字四舍五入到4586.8,甚至可能直接四舍五入到4586,小数点后为空。这乍听起来似乎有悖常理。为什么在如此复杂的数学运算中,你会选择精度较低的四舍五入结果呢?答案是为了提高效率。
如果你的软件架构能够处理繁重的计算工作,或者通过所谓的量化来解决这个问题,你就可以将信息存储为精度较低的数字,这样就可以在芯片上使用相同的功耗、内存和晶体管数量,每秒执行更多的计算。你可以更快地输出结果,或者使用更大的模型。TPU 背后的原理非常巧妙。
TPU还有一点必须尽快实现。因为语音转文字功能显然已经成为现实。谷歌的其他一些应用案例也非常明确。
大卫:谷歌大脑推出的所有这些东西,需求量都立刻飙升。
本:我们甚至还没拿到两个法学硕士学位呢。现在大家都期待着这些技术能普及,无论是照片计算机视觉还是语音识别。这些技术正逐渐成为我们习以为常的东西,如果谷歌没有这些技术,他们的经济模式将会彻底颠覆。
TPU 的设计、验证、构建和部署到数据中心仅用了 15 个月时间。这不像是一个可以耗时数年的研究项目。这是一个迫在眉睫的问题,他们立即启动了项目。他们采取的一个非常巧妙的措施是使用 FPGA 作为过渡方案。尽管 FPGA 单价过高,但他们可以先将其作为测试集群部署,确保所有计算都能正常运行,然后再正式印制 ASIC(我不知道是不是台积电,但总之是已经完成制造并准备就绪)。
他们做的另一件事是将TPU封装成硬盘的尺寸,这样它就可以直接安装到现有的服务器机架中。只需取出硬盘,换上TPU,无需进行任何物理架构的重新设计。
大卫:哇,太不可思议了。这是自软木板发明以来最不可思议的基础设施故事了。
本:没错。而且,这一切并非发生在山景城,而是在谷歌位于威斯康星州麦迪逊市的一个卫星办公室。
大卫:哇哦。为什么是威斯康星州麦迪逊市?
本:大学里有一位教授,他们可以从他那里招很多学生。可能是他们,也可能是Epic公司。你打算去哪里工作?
大卫:是啊,哇。
本:他们后来也一直保守着这个秘密。
大卫:没错。你为什么要告诉别人这件事?
本:因为他们一开始并没有在谷歌云上提供这些功能。为什么要告诉全世界他们在做什么呢?在谷歌 I/O 大会上正式宣布之前,这件事至少保密了一年。真是太疯狂了。
关于TPU,还有一点需要了解的是,它们及时完成,赶上了AlphaGo比赛。那场比赛是在一台搭载了四个TPU的谷歌云服务器上进行的。比赛成功后,显然让谷歌更有信心将其投入到真正的生产环境中。
这就是TPU。据各方评价,第一代TPU并不出色。现在已经是第七代或第八代了,性能有了很大的提升。TPU和GPU现在看起来比以前更相似,它们互相借鉴了彼此的功能。据估计,谷歌目前拥有200万到300万个TPU。作为参考,NVIDIA去年出货的GPU数量——具体数字尚不确定——大约在400万个左右。
人们谈论人工智能芯片时,似乎只剩下谷歌和英伟达两家公司独大。但实际上,谷歌内部已经建立了一个规模几乎与英伟达相当的芯片研发体系,目前不仅服务于谷歌自身,也服务于谷歌云客户。TPU在人工智能领域意义重大,但很多人似乎并未意识到这一点。
大卫:对于 OpenAI 和埃隆·马斯克来说,最讽刺也最令人恼火的事情之一就是,OpenAI 成立于 2015 年,目标是,嘿,让我们把所有这些人才从谷歌挖出来,创造一个公平的竞争环境,结果谷歌却加速发展。
Ben:他们还开发了TensorFlow。这是Google Brain构建的框架,旨在帮助研究人员构建、训练和部署机器学习模型。它的设计使其不仅限于TPU运行,而且无需任何重写即可在GPU甚至CPU上运行,具有极强的可移植性。这将取代旧的Distbelief系统,并成为他们未来支持机器学习研究人员的内部和外部框架。
David:有点矛盾的是,在 OpenAI 成立后的这些年里,一些杰出的研究人员确实从谷歌和谷歌大脑中流失了,但谷歌大脑在这段时间内也火力全开。
本:左右逢源地实现谷歌的商业目标。
大卫:并在诸多领域推动了最先进技术的进步。然后在2017年,谷歌品牌团队的八位研究人员发表了一篇论文。
本:悄悄地。
大卫:这八个人显然对这篇论文非常兴奋,他们不仅对论文的内容和意义感到激动,而且认为它会产生巨大的影响。谷歌本身,太棒了。这是我们语言模型工作的下一个迭代版本。太好了。
本:这对我们来说很重要。但我们能确定这就是下一个谷歌吗?不能。
大卫:不。我们正在进行很多其他项目,这些项目更有可能成为下一个谷歌。但正是这篇论文及其发表,才真正给了OpenAI这个机会……
本:打造下一个谷歌。
David:……抓住机会,全力以赴,打造下一个谷歌,因为这是 Transformer 的论文。
Ben:好的。Transformer 模型是从哪里来的?谷歌的语言模型最近在做什么?
David:这源于 Franz Och 在 Google 翻译方面的工作所取得的成功以及 Google 翻译所取得的改进。
本:大概是2000年代末期?2007年?
David:是的,大概是2000年代中期到后期。他们不断迭代Translate,然后Geoff Hinton加入团队,AlexNet出现后,他们就把Translate的语言模型转向了基于神经网络的语言模型。
本:这带来了显著的改善,而且是一次巨大的、疯狂的文化变革,因为这些研究人员像空降兵一样涌入,再次由杰夫·迪恩带领,他们说:“我很确定我们的神经网络在这方面比我们过去10年来使用的传统方法要好得多。如果我们花几个月时间做个概念验证呢?”
他们最终弃用了所有旧代码库,彻底全面地转向了神经网络。2016 年《纽约时报》杂志刊登了一篇很棒的文章,专门报道这件事。我记得当时读完这篇文章,简直惊呆了,心想:哇,神经网络真是太牛了!而就在一年后,Transformer 的论文才发表。
大卫:在Transformer论文发表之前,是的。他们重写了谷歌翻译,使其基于循环神经网络,这在当时是最先进的技术,而且这是一个很大的改进。
但随着谷歌大脑和谷歌翻译团队的不断努力,一些局限性也逐渐显现。其中一个主要问题是,它们“遗忘”信息的速度太快。我不知道这个比喻是否恰当,但用如今的变形金刚术语来说,它们的上下文窗口可能相当短。
本:随着这些语言模型在文本中不断演进,它们需要记住所读过的所有内容,这样当它们以后需要更改一个词或想出下一个词时,它们就可以拥有完整的文本记忆来进行操作。
大卫:谷歌改进算法的方法之一是使用一种叫做长短期记忆网络(LSTM)的技术。LSTM 的基本原理是为模型创建一个持久的或长短期记忆——这里需要稍微动动脑筋——以便模型在执行一系列步骤时能够记住上下文。
Ben:起初人们对 LSTM 非常兴奋。
大卫:人们都在想,LSTM 将会把语言模型和大型语言模型推向主流。的确,在 2016 年,谷歌翻译就采用了 LSTM。这使得错误率降低了 60%。这是一个巨大的飞跃。
然而,LSTM 的问题在于,虽然它们有效,但计算量非常大,而且并行化效果不佳。AlexNet 和 TPU 瘫痪模型项目所取得的所有成果——这才是未来,这才是我们真正实现人工智能的方式——LSTM 却成了阻碍。
因此,谷歌大脑内部的一个团队开始寻找一种更好的架构,它既要具备LSTM的优点,又不能过快遗忘上下文信息,同时还要能够更好地并行化和扩展。
本:为了充分利用所有这些新架构。
大卫:一位名叫雅各布·乌什科雷特的研究员一直在尝试拓展语言处理中“注意力”的范围。如果模型不再关注眼前的词语,而是关注整个文本语料库,而不仅仅是接下来的几个词,会怎么样呢?让它观察整个文本,然后基于整个上下文,并关注整个上下文,预测下一个翻译词应该是什么。
顺便说一句,这其实是专业人工翻译的翻译方法。你不会逐字逐句地翻译。我大学时上过一门翻译课,真的很有意思。你要先通读原文,理解原文的语境,然后再结合整个语境进行翻译。
该模型需要大量的计算能力才能完成这项工作,但它具有极强的并行化能力。雅各布开始与大脑团队的其他几位成员合作。他们对此感到兴奋。他们决定将这项新技术命名为“变形金刚”(Transformer),因为:(a)它实际上就是在进行变形。它接收大量信息,进行处理和理解,然后将其转换。(b)他们小时候也很喜欢变形金刚。但这并非他们将其命名为“变形金刚”的真正原因。
Ben:它接收海量的文本数据,并以压缩格式存储,对吧?
大卫:是的。
本:我之所以提起这件事,是因为你在 2000-2001 年与诺姆·沙泽尔(本文的合著者)讨论微型厨房时,也是用同样的方式展开的。
大卫:说到诺姆·沙泽尔,他了解到这个项目后,心想:嘿,我在这方面有点经验。这听起来很棒。LSTM 的确存在一些问题。这或许很有前景。我要加入他们,一起研究这个项目。
幸好他这么做了,因为在 Noam 加入项目之前,他们虽然已经实现了 Transformer 模型,但实际上它的表现并不比 LSTM 好多少。Noam 加入团队后,基本上效仿 Jeff Dean,从头开始重写了整个代码库。完工后,Transformer 模型彻底碾压了基于 LSTM 的谷歌翻译方案。事实证明,模型规模越大,效果就越好。它的扩展性似乎真的非常出色。
Stephen Levy 在《连线》杂志上写了一篇文章,讲述了这段历史,文章中到处都是团队其他成员的评价,比如“Noam 是个魔术师”、“Noam 是个巫师”、“Noam 接受了这个想法,然后回来告诉我现在可以了”。
本:你是不是很奇怪为什么现在诺姆和杰夫·迪恩会一起开发下一代双子座机器人?
大卫:诺姆和杰夫·迪恩绝对是形影不离的一对。
本:我们和谷歌大脑的创始人之一格雷格·帕拉多聊了聊,那次谈话很有意思,因为他强调了Transformer模型的精妙之处。他说Transformer模型太精妙了,以至于人们常常觉得它行不通,因为它太简单了。Transformer模型几乎算不上神经网络架构。
David:这与 AlexNet 和 Geoff Hinton 的神经网络又有很大的不同。
本:这确实改变了我看待世界的方式,因为他指出,在自然界——这是格雷格的观点——事物通常的运作方式是它们能够以最节能的方式运作。从进化论的角度来看,最简单优雅的解决方案往往能够生存下来,因为它们对资源的利用效率最高。
你也可以把这个想法应用到计算机科学领域。他说,他在研究实验室里开发了一种模式识别方法,可以判断出,当解决方案非常简单高效时,你可能就找到了正确的解决方案,而不是一个复杂的想法。
这真是太妙了。我觉得很有道理。你知道那种感觉吗?当你遇到一个棘手的问题,大家坐下来讨论,在白板上写写画画,想出各种各样的办法,然后你突然意识到,天哪,原来这么简单。而最终的答案恰恰就是这个。
大卫:变形金刚有一种优雅的气质。
本:你刚才提到的另一点,这其实是现代人工智能的开端。只要不断输入更多数据就行了。里奇·萨顿那篇著名的文章《苦涩的教训》直到2019年才出版。还没读过的人可以简单了解一下,文章的核心观点是:我们这些从事人工智能研究的人总是自以为很聪明,觉得我们的工作就是开发出更强大的算法,但实际上,在各个领域,从语言到计算机视觉再到国际象棋,关键在于找到一个可扩展的架构,然后更多的数据就能带来优势。这种无限扩展的趋势……
David:更多的数据,更多的计算,更好的结果。
Ben:是的,这才是真正的开始,就像,哦,我们找到了可扩展的架构,它可以持续近十年,处理更多的数据、更多的能源、更多的计算,带来更好的结果。
大卫:所以团队和诺姆都觉得,这东西很有潜力。
本:这不仅仅是更好的翻译。我们真的可以应用它。
大卫:这将会比谷歌翻译更强大。不过,谷歌的其他部门似乎还没能意识到它的潜力。
本:他们开发了一些东西。不到一年,他们就开发出了大型语言模型 BERT。
大卫:完全正确。坊间流传着一种说法,说谷歌在论文发表后就对Transformer架构无所作为,这完全是谣言。事实上,他们做了很多工作。
本:事实上,BERT 是最早的 LLM 之一。
David:他们用基于Transformer的大型语言模型做了很多工作。论文发表后,他们并没有将其视为一次全面的技术平台变革。
本:他们当时在做 BERT 和 MoM 之类的模型,还有其他一些模型。他们可以把这些技术应用到搜索结果质量的提升上。我认为这确实产生了显著的影响,尽管谷歌并没有大肆宣传或谈论这些。他们提高了查询理解能力。他们把这些技术融入到了核心业务中,就像谷歌大脑每次推出优秀产品一样。
大卫:谷歌允许这八位研究人员以《注意力是你所需要的一切》为题发表论文,这或许是造福人类的最伟大决定之一,也可能是谷歌有史以来最糟糕的企业决定之一。这显然是对披头士乐队那首关于爱情的经典歌曲的致敬。
截至2025年,这篇论文已被其他学术论文引用超过17.3万次,使其成为21世纪被引用次数排名第七的论文。我认为排在它前面的其他论文发表时间都比它长得多。
当然,几年之内,Transformer 论文的八位作者全部离开了谷歌,要么创办了人工智能初创公司,要么加入了人工智能初创公司,其中包括 OpenAI。
本:太残酷了。当然,诺姆创办了 Character.AI,我们该怎么称呼它呢?黑客收购?最终,他通过一些奇怪的许可、知识产权和雇佣协议,以数十亿美元的订单重返谷歌。
大卫:这是谷歌犯下的非常非常昂贵的错误。
本:公平地说,2017 年标志着谷歌未能充分抓住其所创造的机会的五年时期的开始。
大卫:是的,Transformer 的确如此。说到抓住机遇,OpenAI 这段时间在做什么呢?
本:有人觉得变形金刚在那边很火吗?
大卫:没错,他们确实这么做了。但接下来发生的事就非常非常离奇了。就在谷歌于 2017 年 9 月发表 Transformer 论文之后,埃隆·马斯克对 OpenAI 的现状感到非常非常不满。
本:我们有七种不同的策略。我们要做电子游戏吗?我们要做比赛吗?计划是什么?
大卫:依我看来,你们现在所做的,不过是在模仿DeepMind。而我,正在打造SpaceX和特斯拉。自动驾驶对于特斯拉的未来至关重要,这一点正变得越来越清晰。我需要人工智能研究人员,也需要人工智能领域的重大突破来助力特斯拉的发展。OpenAI显然无法满足我们的需求。
他向萨姆和OpenAI董事会的其他成员下了最后通牒。他说:“我很乐意完全掌控OpenAI,我们可以把它并入特斯拉。” 我甚至不知道如何才能把一个非营利组织并入特斯拉。
本:但在埃隆看来,如果他接任OpenAI的CEO,几乎无关紧要。我们仍然把它当作同一家公司来对待,就像我们对待我所有公司的交易一样。
大卫:或者他会彻底退出,所有资金也会随之终止。萨姆和其他董事会成员都会说,不行。
本:而且我们现在也知道,他们正在逐步向公司注资。并不是说他们一开始就拿到了全部现金。
大卫:他们目前只投入了大约1.3亿美元,而承诺的金额高达10亿美元。他们未能达成解决方案,到2018年初,埃隆·马斯克就退出了。随之退出的还有OpenAI的主要资金来源。
要么这只是埃隆·马斯克一次极其严重的判断失误,要么这件事给OpenAI带来的恐慌反而促使他们拿出Transformer,心想:好吧,我们得想办法解决这个问题。正所谓“需要是发明之母”,让我们放手一搏吧。
本:没错。我不知道在埃隆和山姆之间这种私人矛盾爆发期间,他们是否已经决定全力投入《变形金刚》项目。因为如果你决定采用《变形金刚》的语言模型,全力投入其中,你很快就会意识到你需要大量的数据、大量的计算资源、大量的能源和大量的资金。
如果你的最大投资人要撤资,三维策略是:哦,我们得留住他,因为我们即将进行公司转型,我们需要他的资金来进行这次重大转型。四维策略是:如果他撤资了,也许我可以把公司变成一家盈利性公司,然后筹集资金,最终获得足够的利润来资助我们这个极其昂贵的新方向。我不知道他到底是哪种策略。
大卫:我也不知道。我怀疑真相是两者都有。
本:但无论如何,最疯狂的是:(a)这些事情同时发生,(b)公司并没有烧掉那么多钱,然后他们决定全力以赴,去做一件如此昂贵的事情,以至于我们必须成为一家营利性公司才能真正实现这个目标,因为在可预见的未来,这需要数千亿美元。
David:是的。2018 年 6 月,OpenAI 发布了一篇论文,描述了他们如何利用 Transformer 模型,并开发了一种新的方法,即先在互联网上大量通用文本上对其进行预训练,然后将这种通用预训练微调到特定的用例。
他们还宣布,他们已经训练并运行了该方法的第一个概念验证模型,他们称之为 GPT-1(生成式预训练 Transformer 版本 1)。
Ben:我们应该说,这与 BERT 的出现时间大致相同,也与西雅图艾伦研究所基于 Transformer 开发的另一个大型语言模型的出现时间大致相同。
大卫:是的,的确如此。
本:所以这并非什么异端邪说或秘密。其他人工智能实验室,包括谷歌自己的实验室,都在做这件事。但从一开始,OpenAI 似乎就更加认真对待这件事,因为如果继续走这条路,代价将相当于公司的存亡。
大卫:或者说,是在拿非营利组织、拿整个机构打赌。我们需要一些新的术语。
埃隆刚走出门。他们从哪儿弄钱来做这件事?萨姆转向OpenAI的另一位董事会成员里德·霍夫曼。就在一年多前,里德把LinkedIn卖给了微软。现在,里德是微软的董事会成员。里德说,嘿,你为什么不来和萨蒂亚谈谈这件事呢?
本:你知道他到底是在哪里和萨蒂亚谈话的吗?
大卫:哦,是的。2018 年 7 月,他们安排了萨姆·奥特曼和萨蒂亚·纳德拉在爱达荷州太阳谷举行的艾伦公司太阳谷会议上会面。
本:完美。
大卫:他们在那里敲定了一项协议,微软将以现金和Azure云服务额度相结合的方式向OpenAI投资10亿美元。作为回报,微软将获得OpenAI的技术使用权,并获得在微软产品中使用OpenAI技术的独家授权。
他们将通过OpenAI来实现这一目标。这家非营利组织将创建一个名为OpenAI LP的营利性实体,由OpenAI Inc.控制。微软将投资这家营利性实体。里德·霍夫曼(Reid Hoffman)将加入这一新架构的董事会,其他成员包括萨姆(Sam)、伊利亚(Ilya)、格雷格·布罗克曼(Greg Brockman)、亚当·德安杰洛(Adam D’Angelo)和塔莎·麦考利(Tasha McCauley)。由此,现代的OpenAI——一家营利性/非营利性机构——就此诞生。
本:即使到了2025年,我们仍在探索的问题是,人工智能是如何被创造出来的。这才是人工智能的完整发展史,而不仅仅是谷歌人工智能的故事。
大卫:嗯,这些事情完全密不可分。我正想说,这是谷歌系列的第三集。微软,他们回来了。微软是谷歌的死敌。在第一集中,我们讲了谷歌和搜索的创立,然后在第二集中讲了Alphabet及其所有产品,谷歌的整个战略始终都是围绕微软展开的。他们最终在所有方面都击败了微软。而现在,他们又回来了——
本:又出现了,问:“萨蒂亚的台词是什么来着?我们只想看他们跳舞。”
大卫:我觉得几年后会出现这样一句话:我们要让全世界都知道,我们让谷歌都跳起了舞。我的天哪。
Ben:但这都还是在ChatGPT之前的事了。这只是Sam在为他们即将开展的GPT-2及后续模型扩展计划筹集所需的资金,而这项计划看起来非常昂贵。
大卫:现在正是时候谈谈为什么从OpenAI的角度来看,微软是绝对完美的合作伙伴。这不仅仅是因为他们财力雄厚。
本:虽然这有所帮助。
大卫:这很有帮助。但比资金更重要的是,他们拥有非常非常棒的公共云——Azure。
本:OpenAI在2018年这个阶段不会去买一大堆NVIDIA的GPU,然后自己建数据中心。他们的公司规模还达不到那种程度。他们需要云服务提供商才能完成所有他们想要进行的计算。如果他们还在谷歌,由这些研究人员负责,那当然很好。因为谷歌拥有所有必要的基础设施。但OpenAI需要依附于拥有基础设施的合作伙伴。
大卫:基本上除了谷歌之外就只有两个选择。它们都在西雅图,而且微软的其中一家真的很有兴趣,资金也很雄厚。这看起来会是一次很棒的合作。
本:没错。我很好奇他们有没有就此事和AWS谈过。因为我觉得——这算是个很劲爆的彩蛋;我都不好意思说出口——AWS其实参与了埃隆对OpenAI的首轮投资。
大卫:哇哦。
本:我不知道是以积分的形式还是其他什么形式,但我看到一些地方报道说 AWS 实际上参与了那轮非营利融资。
David:在非营利资金方面,捐赠给早期 OpenAI 的款项。
Ben:总之,微软的 OpenAI 最终还是被他们收购了。
大卫:天作之合。
本:萨蒂亚和萨姆正在台上谈论他们这段奇妙的婚姻伙伴关系是如何建立起来的,然后他们要去参加模特培训。
大卫:这为OpenAI的GPT时代铺平了道路。但在讲述这个故事之前……
Ben:……现在正是感谢我们最喜欢的公司之一 Shopify 的好时机。
大卫:这真的很有趣,因为我们多年来一直是朋友,也是 Shopify 的粉丝。我们刚刚邀请托比做客 ACQ2,聊了聊人工智能领域的最新动态,以及自从我们在 Acquired 节目中报道 Shopify 以来,这六年间发生的一切。
本:对他们来说,这真是一次相当疯狂的转变。
大卫:在Shopify上市之初,它就是创业者和小企业上线的首选平台。如今,这一说法依然成立,而且Shopify也已成为全球领先的电商平台,服务于各种规模的企业。
本:这家公司最酷的地方在于,他们如何在保持初心的同时实现规模化发展。即使像 Everlane 和 Vori 这样的公司,甚至像美泰这样历史悠久、声名显赫的公司都在 Shopify 上创造了数十亿美元的收入,但公司的使命仍然和托比创立之初一样——创造一个更多创业者能够生存的世界。
David:Ben,你得告诉大家你最喜欢的在 Shopify 上入驻的企业品牌。
本:哦,我打算把那个留到下一集。我为这一季的第二集准备了一整套方案。
大卫:好的,太好了。总之,企业现在也使用 Shopify 的原因很简单:因为各种规模的企业都能通过 Shopify 提升销量。他们构建了一个强大的生态系统,让你可以在任何地方销售产品。当然,你自己的网站一直都是销售渠道——但现在有了 Shopify,你可以轻松地在 Instagram、YouTube、TikTok、Roblox、Roku、ChatGPT、Perplexity 等任何平台上销售产品。此外,借助 Shop Pay(他们的加速结账服务),你可以获得惊人的转化率,而且它拥有 2 亿用户的庞大基础,这些用户的支付信息都已存储在 Shopify 中。
本:Shopify 就是个反面教材,它完美诠释了什么叫“别做那些对提升啤酒口感没有帮助的事”。就算你是个大品牌,你也不会为了产品专门去搭建一个更好的电商平台。但这正是 Toby 和 Shopify 的宗旨,所以你应该用他们。
David:所以,无论你是刚刚起步还是已经取得了巨大的规模,都请访问 shopify.com/acquired,并告诉他们是 Ben 和 David 推荐的。
本:好的。我们现在是在GPT-2阶段吗?我们现在训练的就是GPT-2吗?
David:是的,GPT-2。
本:我也是第一次听说这件事。西雅图附近的数据科学家们都在讨论这个。真酷。
David:继与微软的首次合作和首次十亿美元投资之后,OpenAI 于 2019 年发布了 GPT-2,虽然它仍处于早期阶段,但非常有前景,可以做很多事情。
本:确实有很多方面,但它需要你付出极大的创造力。你必须是开发者才能使用它,而如果你是用户,那你的工作量就非常大了。你必须先写几段文字,然后把这些文字粘贴到语言模型中,它才会根据这些原文段落给出完成你正在写的内容的建议。但它并不具备交互性。
大卫:那不是聊天界面……它(本质上)根本没有界面。
本:那是一个API。
大卫:但它当然可以做一些事情,比如翻译文本。谷歌早就开始做这个了。但GPT-2,你可以编造一个假新闻标题,把它交给GPT-2,它就能写出一整篇文章。你读完之后会觉得,这听起来像是机器人写的。但话说回来,普通人根本没法用它。你必须做好长期摸索的准备才能用上它。
第二年,也就是2020年6月,GPT-3发布了。虽然它仍然没有面向用户的界面,但表现非常出色。GPT-2展现了人工智能的潜力,而GPT-3则引发了人们对它能否通过图灵测试的讨论。人们很难区分GPT撰写的文章和人类撰写的文章。它非常优秀,并开始受到广泛关注。
本:虽然消费者还没怎么用过,但普遍的认知是,人工智能领域即将迎来一些有趣的新事物。我认为,风险投资家们最近看到的AI项目路演材料数量开始有所增加。
大卫:英伟达的股价也是如此。然后,在第二年,也就是2021年夏天,微软发布了使用GPT-3的GitHub Copilot。这不仅是微软的产品,也是第一个将GPT集成到自身产品中的产品……
本:产品化。
David:……任何产品,是的。GPT 的首次产品化。
本:任何 OpenAI 技术。
大卫:搞定了。这将开启软件编写方式的巨大变革。
本:慢慢地,然后突然就普及了。一开始只有几个软件工程师在用,大家私下里议论纷纷,觉得这玩意儿太酷了,能提高不少效率。现在各种评论铺天盖地而来,比如75%的公司代码都是用人工智能写的。
大卫:在那之后,微软又向OpenAI投资了20亿美元,这在当时看来是一笔巨款。时间来到2021年底。此时,情况发生了一些有趣的转变。
本:科技股、加密货币、整个市场都崩盘了,真的,所有人的风险偏好都突然从高风险转向低风险。部分原因是乌克兰战争,但很大程度上是利率上升。谷歌受到的冲击尤其严重。股价的峰值出现在2021年11月19日,当时谷歌的市值接近2万亿美元。大约一年后,谷歌的市值跌至1万亿美元,跌幅接近50%。
David:哇,所以是在 2022 年底,也就是 ChatGPT 发布之前。
本:我觉得人们开始意识到谷歌反应迟钝了。他们对事物的反应很慢。感觉他们像是一家老旧僵化的公司。他们是不是像2000年代的微软一样,很久没有推出突破性产品了?人们对谷歌的未来并不看好。然后,ChatGPT出现了。
大卫:这意味着,如果你当时看好谷歌并采取逆向投资策略,你就可以在谷歌市值达到万亿美元时进行投资。
本:这很有意思。2021年10月,市场认为即将到来的AI浪潮对谷歌来说并非优势。或者,也许市场当时的意思是,我们对即将到来的AI浪潮一无所知,因为人们都在谈论AI。
但他们一直在谈论虚拟现实,一直在谈论加密货币,一直在谈论所有这些前沿科技,但这根本不是未来。这家公司给人的感觉就是反应迟钝,不适应时代。在当时的时代背景下,用“反应迟钝”来形容他们或许还算贴切。他们当时不是有个内部聊天机器人吗?
大卫:是的,他们确实这么做了。在我们讨论 ChatGPT 之前,谷歌就已经有一个聊天机器人了。诺姆·沙泽尔,一位杰出的工程师,重新设计了 Transformer 架构,使其得以运行。他是这篇论文的主要作者之一,在谷歌有着辉煌的职业生涯,拥有巨大的影响力,也理应在公司拥有巨大的影响力。Transformer 论文发表后,他和团队其他成员就意识到,我们可以用它来做更多的事情,而不仅仅是谷歌翻译。事实上,论文的最后一段——
本:你准备读《变形金刚》论文吗?
David:是的,我同意。“我们对基于注意力机制的模型的未来充满期待,并计划将其应用于其他任务。我们计划将Transformer扩展到除文本之外的其他输入输出模态问题,并研究图像、音频和视频等大型输入输出。” 这段话出自论文。
本:哇。
大卫:显然,谷歌在相当长的一段时间内都没有采取任何行动。但诺姆却立即开始向谷歌高层游说。“嘿,我认为Transformer模型将会非常庞大,我们应该考虑彻底放弃搜索索引和十个蓝色链接的模式,全力以赴地将整个谷歌转型为一个巨大的Transformer模型。” 然后,诺姆真的着手为这个大型Transformer模型构建了一个聊天机器人界面。
本:这是Lambda吗?
David:这是 Lambda 出现之前的事了。他当时把它叫做 Mina。Noam 在 2010 年代末到 2020 年期间在谷歌内部开发了一个聊天机器人,可以说它和 ChatGPT 非常接近。不过,它不像 ChatGPT 那样具备训练后的安全机制,所以很容易失控。
本:有人告诉我们,你只要问它谁该死,它就会列出一些应该死的人的名字。但这并非一个可以销售的产品。
大卫:那是一个非常粗糙、不安全、未经训练的聊天机器人和模型。但它确实存在于谷歌内部,只是谷歌最终没有发布它。
本:严格来说,它不仅没有后训练功能,也没有RLHF(强化学习与人类反馈)。RLHF是如今模型的核心组成部分,它利用人类反馈进行强化学习。ChatGPT,我不知道它在3.0版本中是否有这项功能,但在3.5版本中肯定有,而且在ChatGPT发布时也有。实际上,即使是OpenAI的产品,由于它太糟糕,根本无法发布。但像谷歌这样的大公司当然不会冒这个险。所以从战略角度来看,这反而对他们不利。
但抛开策略问题不谈,这里还存在两个商业模式问题。第一,如果你提议取消那10个蓝色链接,直接把google.com变成一个巨型AI聊天机器人,那么直接回答问题而不是向广告商展示广告并让用户点击链接访问其他网站,收入就会下降,这会扰乱整个商业格局。显然,他们现在正在考虑这个问题,但在2021年之前,提出这样的建议是绝对行不通的。
第二,介入出版商和用户之间存在法律风险。当时,谷歌已经花了数十年时间来对抗公众舆论和法院判决,这些舆论和判决认为谷歌正在剥夺出版商与读者之间的直接联系。如果你要这样做,无论从内部还是文化层面,都需要跨越非常高的门槛。即使是2010年代才出现的弹出式信息框,也大多只出现在无法盈利的搜索查询中。任何时候,如果你想说“嘿,谷歌会为你提供答案而不是10个蓝色链接”,你都必须有万无一失的理由。
大卫:还有品牌承诺和信任问题。消费者非常信任谷歌。即使到了今天,当我为 Acquired 做调研时,我们仍然需要确保万无一失。我会去谷歌搜索相关信息。
本:我在Claude上查东西,它会给我答案。我会想,这答案真不错。然后,如果Claude上找不到相关的资料来源,我就会用谷歌搜索来验证这些信息是否也能找到。这就是我的工作流程。
大卫:这话现在听起来很滑稽,但很重要。如果你打算用聊天机器人替换那10个蓝色链接,你就必须确保它的准确性。而在2020-2021年,情况显然并非如此。可以说,直到今天也依然如此。
当时也没有什么迫切的理由去做这件事,因为根本没人真正需要这个产品。Noam 和谷歌内部的人都知道,可以基于 Transformer 构建 LLM,并为其添加聊天机器人界面,这本身就是一个极具吸引力的产品。但普通大众并不了解。就连 OpenAI 自己也未必知道。GPT 当时已经问世了。
Ben:你知道 ChatGPT 的发布故事吗?
大卫:嗯,我想我有。我的笔记里有。
本:好的。他们现在有了GPT-3.5。它正变得越来越有用。
大卫:现在是 2022 年末。他们有 3.5。
本:但问题仍然存在,我到底该怎么用它?它如何产品化?山姆只是说我们应该做一个聊天机器人。这似乎是个很自然的界面。有人能做一个聊天机器人,然后在一周内内部使用吗……
大卫:有人开始聊天了。
本:他们只是把对 ChatGPT 3.5 API 的调用变成了一个产品,你只需要和它聊天,每次你发起聊天消息时,它都会调用 API 上的 GPT 3.5。结果,这竟然就成了一个神奇的产品。
我觉得他们没想到会这样。服务器不堪重负。他们正在与微软合作,试图获得更多计算资源。他们正在与微软实时协商,争取更多投资、更多 Azure 额度或提前获得 Azure 额度,以便应对 2022 年 11 月即将到来的巨大流量高峰,届时将有大量用户涌入使用这项服务。
他们随意设置付费墙,是因为他们一开始以为这是一家API公司。他们以为所有的预测都只关注B2B授权交易能带来多少收入。后来他们才意识到,哦,还有很多消费者也在用这个产品。于是他们设置了付费墙,至少可以降低成本,这样就能抵消一部分费用或者延缓推广速度。
大卫:这可不是谷歌搜索那种毛利率高达 89% 的东西。
本:他们最终实现了惊人的营收增长,这完全得益于他们周末快速搭建的 Stripe 付费墙,以应对所有需求。说 OpenAI 事先预料到这种情况也完全是无稽之谈。他们在发布这款产品时,并没有意识到它会成为下一个爆款消费产品。
大卫:本·汤普森喜欢把OpenAI称为一家“意外的消费科技公司”。这的确是个意外。现在,关于发起聊天室的动机,其实还有另一个略有不同的版本。
本:这是达里奥吗……
David:界面?对,Dario 和 Anthropic 的版本。Anthropic 当时正在开发后来成为 Claude 的东西。当时有传言说,OpenAI 的人也听说了,说 Anthropic 和 Dario 在开发聊天界面。我们也应该做一个。如果我们要做的话,最好赶在他们之前发布。
我认为这和时机有关。但话说回来,我认为包括 OpenAI 在内,没有人预料到将会发生什么,就像 Ben 你暗示的那样,但要给出实际数字呢?
2022年11月30日……
本:基本上就是感恩节。
David:……OpenAI发布了名为ChatGPT的GPT 3.5新版交互界面的研究预览版。当天上午(30日),Sam Altman在推特上发文:“今天我们发布了ChatGPT。点击这里试试和它对话吧。”并附上了chat.openai.com的链接。
不到一周,实际上不到一周,用户就突破了一百万。到年底,也就是一个月后,2022年12月31日,用户数达到三千万。再过一个月,到2023年1月底,也就是上线两个月后,注册用户数就突破了一亿,成为史上最快达到这一里程碑的产品。简直不可思议。
在我们讨论这会在谷歌内部引发什么反应(也就是著名的“红色警报”)之前,让我们先回顾一下谷歌内部聊天机器人Mina中的Noam。谷歌一直在持续改进Mina,并将其发展成名为Lambda的产品,Lambda也是一个内部聊天机器人。
本:我认为那是一种语言模型。当时,他们仍然区分底层模型品牌名称和应用程序名称。
大卫:Lambda 是最初的模型,当时还有一个仅供谷歌内部使用的 Lambda 聊天界面。诺姆一直在向领导层游说,最终我们决定发布这个产品。他在 2021 年离开谷歌,创立了聊天机器人公司 Character AI,这家公司至今仍在运营,并且不出所料地筹集了大量资金。之后,在 ChatGPT 于 2024 年发布后,谷歌最终支付了 27 亿美元(我记得是这样)与 Character AI 达成授权协议,诺姆最终回到了谷歌。
本:我觉得拉里和谢尔盖当时的想法是,嗯,如果我们想认真竞争,我们需要诺姆回来,所以我们要给他一张空白支票去签下他。
大卫:所以,在2021-2022年期间,谷歌一直在开发Lambda模型及其聊天界面。2022年5月,他们发布了一个名为AI Test Kitchen的公共平台,这是一个人工智能产品测试区,人们可以在这里体验谷歌的内部人工智能产品,包括Lambda聊天界面。
Ben:而且所有公平原则都早于 ChatGPT。
大卫:你知道他们对NeRF聊天做了什么,才能防止它失控吗?这太神奇了。
本:不。
大卫:AI Test Kitchen 里的 Lambda Chat 版本,对话会在五轮后结束。你只能和聊天机器人进行五轮对话,然后就结束了,今天的测试到此结束。谢谢。再见。
本:哦,哇。
大卫:他们这样做是为了安全起见。转弯次数越多,它就越容易脱轨。
本:说实话,这确实是个合理的担忧。这东西本来就不适合公开使用。如果你还记得几年前微软发布的Tay,那可是个疯狂的、带有种族歧视的聊天机器人。
大卫:他们最初是以推特机器人的形式推出的,对吧?它在推特上引起了轰动。这大概是2016年的事了(我记得是这样)。
本:负面影响最大。尽管谷歌早在2017年就宣布我们是一家人工智能优先的公司,但桑达尔在真正面向公众推出人工智能产品时非常谨慎,尤其是在面向消费者的产品方面,这也可以理解。
David:至于ChatGPT推出之前,其他人的看法是,他们是一家以人工智能为先的公司,并且正在推出各种令人惊叹的人工智能产品。这只是他们现有产品发展方向的一部分。
于是,ChatGPT问世,并迅速成为史上用户量最快突破1亿的产品。对于桑达尔、拉里、谢尔盖以及谷歌的所有高层领导来说,这无疑是对谷歌生存的威胁。ChatGPT在提供与谷歌搜索相同功能的同时,还拥有更佳的用户体验。
本:为了强调这一点,如果你在2022年11月还不知道,那么到了2023年2月你肯定就知道了,因为我们最大的敌人——老牌微软——宣布推出由OpenAI驱动的全新Bing搜索。
萨蒂亚引用了一句话:“搜索迎来了新的一天。竞赛从今天开始。” 他宣布推出全新的人工智能搜索页面。他说:“我们想重新思考搜索的本质。事实上,谷歌早期的成功正是源于对搜索功能的重新构想。我认为我们即将进入的人工智能时代促使我们重新思考这个问题。”
这对谷歌来说无疑是最糟糕的情况,微软现在终于可以在谷歌的主场挑战它了,而且微软的目标是在互联网领域打造一个真正不同、更出色、更具差异化的产品。这可不是必应那种简单的模仿。这是一次彻底的跨越式发展,而且他们拥有实现这一目标所需的技术合作伙伴关系。
大卫:至少目前大家都这么认为。
本:我的天哪,太可怕了。
大卫:萨蒂亚是在Bing发布前后接受采访时说的那句话。“我想让人们知道,我们让谷歌都跳起了舞。”我的天。好吧,既然要挑战王者,最好一击即中。而这次盛大的发布却失手了。
那么谷歌内部发生了什么?2022年12月,甚至在正式发布之前,但在ChatGPT事件之后,桑达尔在公司内部发布了红色警报。
本:那是什么意思?
大卫:在此之前,谷歌、桑达尔、拉里以及所有人都把人工智能视为克莱顿·克里斯坦森所说的持续性创新。这对谷歌来说是好事,对我们的产品来说也是好事。看看我们正在做的这些了不起的事情吧。
本:这进一步巩固了现任者的地位。
大卫:这将进一步巩固我们在所有领先产品中的领先地位。
本:我们可以以可预测的方式投入更多资金,从而降低成本,或者使我们的产品体验比任何初创公司都能做得更好。
大卫:一切都变得更加商业化,也因此变得更好了。一旦 ChatGPT 问世,一夜之间,人工智能就会从一种持续性创新转变为颠覆性创新。它现在构成了一种生存威胁。谷歌过去 10 年、15 年、20 年在人工智能领域积累的许多优势,现在都变成了劣势。他们需要保护的还有很多既有的“堡垒”。
本:没错。他们必须对所有东西进行很多筛选,才能决定是否应该尝试超越 OpenAI。
大卫:桑达尔向公司发出的这个红色警报实际上意义重大。因为它意味着,正如他所说,我们需要尽快构建并发布真正的原生人工智能产品。
这才是你真正需要做的,作为现有企业,面对颠覆性创新,教科书式的应对之策。你不能视而不见,而应该意识到,我们必须着手研发并推出能够与这些颠覆性创新者相媲美的产品。
本:你需要像激光一样精准地把握所有细节,努力弄清楚新产品究竟在哪些方面蚕食了我们旧产品的市场份额,又在哪些方面可以与之互补。然后,你要做的就是在各种不同的小场景中,尽可能地寻找与旧产品互补的机会。
实际上,从2022年开始,他们一直在努力平衡各方利益,既要保护搜索业务的增长,又要打造尽可能最佳的AI体验。他们针对部分而非全部搜索查询提供AI概览,这种做法非常巧妙。他们为部分用户提供AI模式,但并非所有用户都能使用。此外,他们还推出了功能齐全的AI应用Gemini,但并没有将用户从google.com重定向到Gemini。这是一种非常微妙的平衡,既要保护现有业务,又要尽可能地构建一个不会蚕食现有业务的新领域。
David:而且你会看到他们(我认为)真的在努力打造非搜索领域(例如视频)的领先产品,这些领域正在蚕食搜索市场。
Ben:Veo 3 或 Nano Banana。这些产品完全不会蚕食现有产品线。事实上,它们还利用了谷歌的一些优势,比如 YouTube 上的所有训练数据等等。
大卫:那么接下来会发生什么?不出所料,情况会先恶化后好转。红色警报将于2022年12月解除。
本:巴德,宝贝。发射巴德。
大卫:哦,天哪。其实在此之前,1月23日,OpenAI的ChatGPT注册用户突破1亿之际,微软宣布将向OpenAI追加100亿美元投资,并表示他们现在拥有这家营利性实体49%的股份。
这本身就令人难以置信,但现在让我们从微软——我们的敌人——的角度来看待这件事。他们现在可能拥有OpenAI,当然,事后看来他们并没有拥有OpenAI,但当时的感觉是,我的天哪!微软现在可能拥有OpenAI了,这可是我们公司历史上第一个真正意义上的生存威胁。
本:不太好,鲍勃。
大卫:所以到了2023年2月,大规模整合正式启动。萨蒂亚曾说过他想让谷歌“跳舞”。与此同时,谷歌内部也在争分夺秒地推出人工智能产品。他们做的第一件事就是把Lambda模型和聊天机器人界面整合进去,并重新命名为Bard。
本:他们公开运送这些东西,而且——
大卫:他们会立即发布。2023年2月,公开发售。任何人都可以购买。
本:这或许是正确的举措,但天哪,这产品太糟糕了。
大卫:情况真的很糟糕。
本:当时我不知道RLHF这个术语,但很明显它缺少ChatGPT所拥有的某种神奇元素。那种结合了人类反馈的强化学习,可以真正地调整回复的恰当性、语气、语调和正确性,而ChatGPT恰恰缺少这些。
大卫:更糟糕的是,在巴德的宣传视频中——这是一段精心编排、预先录制的视频,其中展示了与巴德的对话——巴德对视频中提出的一个问题给出了不准确的事实回答。
本:这是历史上最糟糕的主题演讲之一。
大卫:在巴德发布会和这次主题演讲之后,谷歌股价当天下跌了8%。然后,就像我们刚才说的,产品真正推出后,很明显它并不好。很快就会发现,不仅仅是聊天机器人不好,整个模式也不行。
今年五月,他们用Brain团队开发的名为PaLM的新模型取代了Lambda。PaLM比Lambda略有改进,但仍然明显落后于GPT-3.5,而且OpenAI将于2023年3月发布GPT-4,GPT-4的性能更胜一筹。您现在可以通过ChatGPT访问GPT-4。
在这里,桑达尔做出了两个非常非常重要的决定。第一,他说:“谷歌内部不能再有两个人工智能团队了。我们将 Brain 和 DeepMind 合并成一个名为 Google DeepMind 的实体。”
本:这可是件大事。这完全违反了当初引进DeepMind的协议条款。
大卫:他实现这一目标的方式是,他说:“德米斯,你现在是谷歌人工智能部门——谷歌DeepMind的首席执行官。现在需要全员投入,你和DeepMind将引领变革,你们将与谷歌大脑整合,我们需要改变过去十年谷歌在构建和发布人工智能产品方面的文化。”
本:为了进一步说明这一点,Alphabet 成立之初,旗下有很多独立的公司,但像 YouTube 这样对谷歌来说真正核心的业务实际上仍然是谷歌的一部分。DeepMind 则是一家独立的公司。可见其独立程度之高。他们正在开发自己的模型。事实上,这些模型都基于强化学习。这正是 DeepMind 一直以来努力的方向。
字里行间,桑达尔看着他的两个人工智能实验室,心想:我知道你们俩关系不太好,但是,我不在乎你们之前各自的职责。我把谷歌大脑的责任移交给DeepMind,DeepMind也会吸收谷歌大脑的团队。我觉得这才是你应该理解的,因为看看这些模型后来的发展,它们都源自DeepMind。
大卫:这背后还有一段有趣的故事。DeepMind的第三位联合创始人穆斯塔法·苏莱曼,在此之前的某个时候……
本:他是不是成了谷歌人工智能政策负责人之类的?
大卫:……他当时已经跳槽去了Brain和谷歌。他在那里待了一段时间,然后和谁走得很近?里德·霍夫曼。别忘了,里德是DeepMind伦理委员会的成员,穆斯塔法和里德一起离开了DeepMind,创立了Inflection AI。时间快进到2024年,而在此之前,OpenAI在2023年感恩节期间发生了一系列令人匪夷所思的事情:萨姆·奥特曼在感恩节周末被解雇,但到了周一,在所有团队成员都威胁要辞职去微软之后,他又被请了回来。
Ben:OpenAI 超爱感恩节。我已经迫不及待地想过今年的感恩节了。
大卫:他们很喜欢感恩节。是啊,天哪。毕竟,这肯定会让微软和他们之间的关系变得紧张。别忘了,里德可是微软董事会成员。微软收购了Inflection AI,并聘请穆斯塔法担任微软人工智能部门的负责人。
本:疯了,
大卫:简直太疯狂了。
本:真是世事难料。
大卫:好的。桑达尔做出的第一个重大决定就是合并DeepMind和Brain。这意义重大。同样意义重大的是,他说:“我希望你们开发一个新模型,我们以后只需要一个模型。这个模型将用于谷歌内部的所有应用,以及我们所有面向外部的AI产品。它将被命名为Gemini。不再有不同的模型,不再有不同的团队。只有一个模型,适用于所有情况。” 这也是一件意义非凡的事情。
本:这可是件大事。而且这事包含两方面。既有推动作用,也有拉动作用。一方面,他们会说,嘿,如果有人需要人工智能模型,那就必须开始使用 Gemini。另一方面,谷歌也在积极推广,他们会联系每个团队,告诉他们 Gemini 代表着我们的未来。你们需要开始寻找将 Gemini 集成到产品中的方法。
大卫:很高兴你提到了Google Plus。我在调研过程中也和一些人聊到过这个话题。当然,这一切都在实时发展,但谷歌内部很多人都指出,Gemini的情况和Google Plus的情况截然不同。
这是一个技术问题:(a) 这一直是谷歌的强项,但 (b) 更重要的是,在如今模型规模庞大的时代,这是合乎理性的商业决策。即使对于像谷歌这样的公司来说,模型也存在着巨大的扩展规律。
本:你输入的数据越多,效果就会越好,所有输出结果都会越好。
大卫:由于扩展性规律,为了获得最佳性能,你的模型需要尽可能大。如果你试图在公司内部维护多个模型,就会重复产生维护这些大型模型的巨额成本。你肯定不想这样做。你需要集中精力维护一个模型。
本:这很有意思。还有一点值得注意,最初Bard产品旗下的Gemini模型,Bard仍然是面向消费者的名称。后来他们决定,不,我们干脆把所有产品都叫做Gemini。Gemini就成了面向用户的名称。
此外,这让我想起了Alphabet那一集的精髓。我知道这有点玄乎,但谷歌说他们要把消费者服务命名为人工智能模型的名字,这其实是在承认,这个产品除了技术之外什么都没有。除此之外,它本身并没有什么产品可做。
这就像Gmail一样。Gmail代表着技术。它搜索速度快,存储空间大,而且是网络应用。它的产品本身并不像Instagram那样,完全围绕产品展开。
模型“双子座”和聊天机器人“双子座”说道:“我们正在向大家展示我们惊人的突破性技术,你们可以直接与它互动。”从人类学的角度来看,这似乎正是这种原则的体现。
大卫:我完全同意。我认为这实际上对谷歌及其企业文化来说是一个非常重要的品牌建设和凝聚点。
本:好的,以上就是谷歌在2023年左右人工智能领域正在发生的一切。在我们了解最新进展之前,我想先说说Alphabet旗下另一个在人工智能领域表现非常出色的部门。我可以先聊聊那个部门吗?或者说,我可以暂时岔开一下话题吗?
大卫:你能掌控局面吗?
本:我可以掌舵吗?我可以再研究一下另一个赌注吗?
大卫:请给我们讲讲Waymo的故事。
本:太棒了。我们得以回顾到2004年,DARPA挑战赛,这项赛事旨在推动军用自主地面机器人的研究。实际上,就我们今天讨论的内容而言,它为20年后整个自动驾驶汽车革命培养了第一批人才。
比赛本身非常精彩。赛道全长132英里。请注意,这是2004年在莫哈韦沙漠举行的比赛,赛车必须在这条土路上行驶。比赛期间,任何人都不允许进入赛车内或与赛车进行任何互动。比赛全程由远程监控系统进行监控,冠军将获得100万美元的奖金。
大卫:100万美元。
本:这打破了常规。通常情况下,这些是研究经费,而不是奖金。所以这需要国会立法授权。100万美元的奖金最终显得有些滑稽。第二年,他们把奖金提高到了200万美元。想想这些研究人员如今的身价,而这竟然是整个项目的奖金,真是令人难以置信。
2004年的第一年进行得很顺利。在预算非常有限的情况下,出现了一些令人惊叹的技术演示,但最终100支注册队伍中没有一支完成比赛。
但真正特殊的一年是2005年。整个行业在那12个月里从经验中汲取的教训所取得的进步简直令人难以置信。
参加决赛的23支队伍中,有22支队伍的成绩超过了去年最强队伍的成绩。这一年里,队伍的晋级幅度之大令人难以置信。
不仅如此,这五支队伍竟然跑完了全程132英里。其中两支来自卡内基梅隆大学,一支来自斯坦福大学,领队的名字大家现在应该都很熟悉了,他就是塞巴斯蒂安·特伦。
大卫:的确如此。
本:这是塞巴斯蒂安在谷歌成立之前的创业故事。正如我们所说,塞巴斯蒂安非常友好地帮助我们准备了这期节目,但我其实大部分内容都是从一部20年前的Nova纪录片中了解到的,这部纪录片可以在亚马逊Prime视频上观看。感谢布雷特·泰勒告诉我们哪里可以找到这部纪录片。
大卫:是的,这是个热门的研究线索。
本:斯坦福团队的特别之处在哪里?首先,所有这些传感器都会产生大量噪声数据,这是一个很大的问题。它们被放置在沙漠中颠簸的汽车里,饱受高温和烈日的侵袭。因此,通常的做法,也是卡内基梅隆大学的做法,就是在硬件上尽可能地采取措施来缓解这个问题。比如定制支架、万向节和巨型弹簧来稳定传感器。卡内基梅隆大学的做法基本上就是买一辆悍马,把它拆开,从头到尾重新组装。我们说的是焊接和真正的汽车制造。
斯坦福团队的做法恰恰相反。他们认为任何新的硬件都可能出现故障。因此,为了降低比赛日的风险,他们使用了普通的相机和传感器,并将其安装在一辆几乎未改装的大众汽车上。他们的创新点仅在于软件,他们打算之后再开发巧妙的算法来清理这些混乱的数据。是不是很像谷歌的策略?
大卫:非常古怪。
本:他们做的第二件事是早期运用机器学习技术来整合多个传感器。他们像其他团队一样,在车顶安装了激光设备,这样就能测量正前方物体的纹理和深度。数据非常精确,但你不能开得很快,因为视野范围固定且非常狭窄,你对远处的情况知之甚少。本质上,你无法回答“我能开多快”或者“前方是否有弯道”这类问题。
所以,除此之外,他们的解决方法是还安装了一台普通的摄像机。这台摄像机拥有和人眼一样广阔的视野,能够像人眼一样看到地平线。更重要的是,它还能识别颜色。
这项技术非常巧妙——他们会实时运用机器学习算法。2005年,这台电脑安装在车内中央。他们会将上方激光测速仪的数据叠加到摄像头画面上。通过激光测速仪,你可以判断车前区域是否可以通行。然后,算法会查看摄像头拍摄的画面,将安全区域的颜色叠加到电脑上,并通过观察视频画面中其他区域来推断安全区域的延伸范围,从而帮助你规划出穿越沙漠的安全路线。
大卫:太棒了。
本:太棒了。
大卫:我想象着2005年,一台戴尔电脑放在这辆车的中间。
本:差不多了。我们会在邮件里附上一些照片。这样它就能更快、更自信地行驶,还能预判弯道。再说一遍,这是实时拍摄的,车载摄像头拍的,2005年的技术已经很先进了。
最终,这两个赌注都奏效了,斯坦福队以极其戏剧性的方式赢得了比赛。他们竟然在沙漠中自主超越了卡内基梅隆队的一支队伍。这是纪录片中一个非常精彩的瞬间。
你可能会想,然后塞巴斯蒂安就去了谷歌,创建了 Waymo。不。正如我们之前提到的,他加入谷歌是因为谷歌拒绝了 Benchmark 和 Sequoia 的投资,直接雇佣了他。但他之后参与了街景和 Project Ground Truth 的开发,并联合创立了 Google X。
David,正如你之前提到的,这个后来发展成为 Waymo 的 Project Chauffeur 是 Google X 内部的第一个项目。
大卫:我觉得事情是这样的,拉里找到塞巴斯蒂安,说:“嘿,那是自动驾驶汽车的东西,去做吧。”塞巴斯蒂安说:“不,别这样。那是DARPA的挑战赛。”拉里说:“不,不,你应该去做。”
本:他当时就说,不行不行,那样不安全。城市里到处都是人。我总不能把几吨重的杀人机器人放到路上,然后去伤害别人吧。拉里最后找到他,问他为什么?这在技术上有什么原因导致不可能?塞巴斯蒂安回家后,好好想了一晚上。第二天早上他来上班,说:“我明白了。我只是害怕。”
大卫:真是个美好的时刻。
本:于是他们开始了。他说,没什么技术上的原因。只要我们采取所有必要的预防措施,并把安全标准定得非常高,那就开始吧。拉里接着说,太好了。我会给你们设定一个基准,这样你们就能知道自己是否成功了。他列出了加州十段他认为非常难开的路段。总长大约一千英里,团队开始称之为“拉里1000”。其中包括开往太浩湖、旧金山的伦巴底街、通往洛杉矶的1号公路以及海湾大桥。这就是他们的挑战。
大卫:如果你能自动驾驶这些路段,那就很好地表明你可能无所不能。
本:所以他们从2009年开始这个项目,用了18个月的时间。他们雇佣了一个很小的团队,我想大概只有十几个人吧。他们已经完成了数千英里的自动驾驶,并且在18个月内成功完成了整个拉里1000挑战赛。
大卫:他们完成的速度简直难以置信。但同样难以置信的是,之后他们花了那么长时间才将产品推向市场,打造出我们今天所熟知的Waymo。
本:这就像前99%和后99%的过渡,后者需要10年时间。自动驾驶是那种非常棘手的问题,虽然看起来似乎不可能,但实际上入门却出奇地容易。
但凡事都会有各种特殊情况,例如天气、路况、其他驾驶员、新的道路布局以及夜间驾驶等等。一个生产系统要真正投入使用,就需要进行大量的工作。
那么问题来了,我们要打造什么样的业务?我们的产品是什么?塞巴斯蒂安想要的是高速公路辅助系统,风险最低,最实际,让我们来打造一个更好的巡航控制系统。
这就是埃里克·施密特的想法,简直疯了。他提议,不如我们直接买下特斯拉,以此为起点。然后我们再把所有自动驾驶设备都装到特斯拉的车上。大卫,你知道当时买下特斯拉要多少钱吗?
大卫:我记得当时埃隆、拉里和谷歌进行谈判的时候,正值Model S量产规模化问题最严重的时候。我记得谷歌当时可能以50亿美元的价格收购这家公司。
本:是30亿美元。
大卫:30亿美元,我的天哪。
本:显然那件事并没有发生,但这本来可以成为一段多么疯狂的平行历史啊。
大卫:我认为如果那样的话,DeepMind就不会以同样的方式倒闭,OpenAI可能也不会成立。
本:那很可能是对的。
大卫:我认为这显然是无法证明的。
本:我们在这个节目里经常提出的反事实假设,你不可能知道结果如何。
大卫:在我看来,至少 OpenAI 很可能不会存在。
本:然后还有拉里想做的,也就是第三个方案,制造无人驾驶出租车。最终,至少目前来看,他们最终会选择这么做。
我们可以专门做一整期节目来讲述这段历程,但为了节省时间,我们只谈谈几个要点。这里需要记住的一点是,无论是谷歌还是公众,都无法确定自动驾驶技术是会在未来两年内实现,还是需要再过十年才能实现。
举例来说,在“司机计划”(Project Chauffeur)的前五年里,他们完全没有使用深度学习。他们完成了 Larry 1000 测试,完全没有使用任何深度学习技术,然后又持续了三年半的时间。
大卫:哇,太疯狂了。但这完全说明了,你永远不知道最终目标还有多远。
本:这个领域的发展只能通过一系列突破来实现。你不知道:(a) 下一个突破会有多远,因为任何时候,这个领域都有很多看起来很有希望的东西,但大多数最终都会失败。(b) 即使真的有了突破,你也不知道它能比现有方法带来多大的提升。所以,任何时候有人预测,比如“哦,人工智能,我们将在X、Y、Z年和X年后实现X项功能”,这完全是徒劳的。即使是专家也不知道。
以下是几个重要的里程碑。2013年,他们开始使用卷积神经网络,能够识别物体,感知能力大幅提升。2013-2014年期间,谷歌开始全身心投入深度学习。这大约是在4万个GPU推出之后。他们现在确实拥有了一些可以进行相关研究的硬件。
2016年,他们看到了足够的技术验证,认为应该将这项技术商业化,并将其独立出来成立一家公司。于是,Waymo成为Alphabet旗下的独立子公司,不再隶属于Google X。
2017年,Transformer模型问世,这很自然。他们借鉴了Transformer模型的一些经验,尤其是在预测和规划方面。
2020年3月,他们从银湖资本、加拿大养老投资公司、穆巴达拉投资公司、安德森·霍洛维茨基金等机构筹集了32亿美元,当然,最大的一笔投资(我认为)来自Alphabet。我认为Alphabet始终是最大的投资方,因为即使在之后的一系列融资之后,它仍然是控股股东。
2020年10月,他们在凤凰城推出了首个公开商业广告,驾驶座上没有人类驾驶员。这是全球首例。这距离他们在拉里1000大赛上取得成功已经过去了11年。这简直太疯狂了。当时我已经放弃了。我想,Waymo和其他公司都在尝试自动驾驶,这很可爱,但感觉永远也实现不了。结果他们竟然在凤凰城安全地完成了大量载客运营,并且开始收费。
大卫:然后他们把它带到旧金山,对我以及很多旧金山人来说,它现在已经成为这座城市生活中非常重要的一部分。这太棒了。
本:是啊。每次心情低落的时候,我都喜欢坐他们的车。他们很快就要在西雅图上线了,我特别兴奋。有意思的是,他们自己不生产硬件,所以用的是捷豹的车,据我所知,这辆车好像只有Waymo用。我不知道还有没有其他人开这辆捷豹,也不知道能不能买到,不过他们下一步正在研发一款厢式货车。他们还有一些下一代硬件。
对于还没体验过的人来说,它就像是没有司机的Uber。这项服务于2024年6月推出。在此期间,他们完成了B轮融资,筹集了25亿美元。在旧金山推出服务后,他们又完成了C轮融资,筹集了56亿美元。据报道,今年1月,他们在旧金山的总订单量已经超过了Lyft。
大卫:哇。我完全相信。在旧金山,Waymo 是首选出行方式,我和我认识的所有人打车都用它。就像,尽量先叫 Waymo。如果 Waymo 暂时没车,那就选别的。
本:我们生活在未来,但我们却如此轻易地失去了对它的珍惜。
大卫:我觉得,对于那些还没体验过自动驾驶汽车的人来说,它很酷的地方不仅仅在于没有司机在身后是一种很酷的体验。很快,这种新鲜感就会消失。实际上,这是一种完全不同的体验。
如果我需要带大女儿出门,我不介意叫一辆Waymo,带上儿童安全座椅,把座椅装到Waymo里,然后带着她一起坐。她特别喜欢。我们管它叫“机器人车”,她也像个机器人车一样。我太兴奋了!我绝对不会用Uber这么做。
本:这很有意思。
大卫:致我的狗狗。每次需要带狗狗出门,拦辆优步的时候都特别尴尬,还得说:“嘿,我带着狗狗呢。狗狗能跟我一起出门吗?” 用 Waymo 就没这个问题了。而且当你在城里的时候……
本:我们其实可以在车里进行一些敏感的谈话。
大卫:你可以打电话。这真的是一种截然不同的体验。
本:确实如此。是时候跟上时代了。他们目前在五个城市运营——凤凰城、旧金山、洛杉矶、奥斯汀和亚特兰大。他们每周提供数十万次付费乘车服务。他们已经累计行驶超过1亿英里,而且每周还在以200万英里的速度增长。他们的车队拥有2000辆车,累计提供超过1000万次付费乘车服务。
他们明年将在美国开设更多分店。他们首先在东京——他们的首个国际城市——启动,采取循序渐进的方式,然后逐步扩展到所有城市。这就是关键所在。他们的技术,实际上是延续了DARPA挑战赛中采用的多传感器方法——摄像头、激光雷达,他们还加入了雷达,实际上他们也使用了音频传感。他们的理念是,我们能收集到的任何数据都越多越好,因为这能提高安全性。
他们配备了13个摄像头、4个激光雷达、6个雷达以及一系列外部麦克风。这显然比特斯拉仅使用摄像头的方案成本高得多。但Waymo官方的说法是,他们认为这是实现完全自动驾驶并达到他们所设定的安全标准和监管标准的唯一途径。每次和这家公司的人交谈,你都会觉得这似乎是他们非常坚持的底线。
David:作为这两款产品的普通用户,我既是 Model Y 的车主和驾驶员,也是 Waymo 的普通用户,至少就我特斯拉目前实现的完全自动驾驶而言,它们是截然不同的产品。
我的Model Y的完全自动驾驶功能很棒。我经常在高速公路上使用它,但我绝不会分心。而每次坐Waymo的时候,感觉就像在用谷歌搜索一样。我完全信任它,觉得这绝对安全。我坐在后座,可以完全放空自己。
本:我觉得我比你更信任我的Model Y FSD,但我明白你的意思。坦白说,从监管角度来说,开特斯拉仍然需要集中注意力,而开Waymo则不需要。
安全问题确实不容忽视。看看数据就知道了,每年有超过一百万起交通事故造成人员死亡,或者说死亡人数超过一百万。仅在美国,每年就有超过四万人死于交通事故。换算下来,平均每天就有120人死亡。这可是造成死亡的一大原因。
Waymo上个月发布的研究表明,即使考虑到Waymo目前只在城市地面道路上行驶,与普通人类驾驶员相比,他们的车辆造成的严重伤亡事故也减少了91%。研究人员将Waymo与人类驾驶数据进行了直接比较,结果显示,Waymo的车辆在造成死亡或重伤的事故方面减少了91%。为什么我们不每天都在讨论这件事呢?这将彻底改变世界,大幅降低交通事故造成的死亡人数。
既然我们聊到了 Waymo,不如我们快速分析一下?因为我一直很困惑,不知道这到底是什么业务。之后我保证我们会回到谷歌人工智能的其他部分,赶上今天的进度。
它的运行成本极高,尤其是在早期规模阶段。训练成本高,推理成本高,硬件成本高,等等等等。
大卫:而且,手术费用也很昂贵。
本:实际上,他们正在进行各种试验。有些城市他们把运营外包了。比如德克萨斯州就有一家租车公司负责管理。或者他们(我记得)和 Lyft 和 Uber 合作了。他们正在尝试各种自营和合作模式来运营这项服务。
大卫:运营流程是这样的,这些都是电动汽车。它们需要充电、清洗、送回车库、检查,还需要更换传感器。
本:所以问题在于潜在的市场机会是什么?这个行业能发展到多大规模?你可以尝试用几种不同的方法来量化它。
你可以尝试计算一下目前所有汽车制造商的总市值。如果算上特斯拉,全球总市值约为2.5万亿美元;如果排除特斯拉,则约为1.3万亿美元。但Waymo实际上并不生产汽车,所以这种计算方法可能并不准确。
你可以看看如今所有的网约车公司,这或许是个更好的比较对象,因为Waymo目前实际上就是做这个行业的。这个行业的市值大约在3000亿美元左右,其中大部分是Uber。这就是目前网约车行业的潜在市值。
但Waymo的雄心远不止于此。他们希望进军你拥有的汽车市场,进军长途货运领域。他们相信自己能够扩大在交通运输领域的份额,因为盲人也能拥有汽车,老年人也能无需司机就能独自出行,等等。
最牵强但我觉得最有趣的看待这个问题的方式是:减少事故的价值是什么?因为这才是他们真正想做的。这是一款用非事故来取代事故的产品。
大卫:我认为这是可行的。但作为该产品的长期用户,我再次强调,它与传统的拼车服务不同,而且这种服务还在不断发展。
本:所以你的论点是,无论我得出多少减少事故的数字,市场仍然比这个数字更大,因为产品体验本身创造了额外的价值。
大卫:是的。现在旧金山有了 Waymo,我开始考虑共享出行,在一些我绝对不会使用 Uber 或 Lyft 的情况下,我会选择 Waymo。
本:有道理。这是我们掌握的数据。美国疾控中心发布的一份报告称,2022年美国因车祸造成的死亡总成本高达4700亿美元,其中包括医疗费用和生命损失的估算成本。疾控中心居然能估算出生命损失的成本,这真是令人难以置信,但他们确实做到了。
如果像 Waymo 的数据所显示的那样,将事故减少 10 倍(至少对于严重事故而言),那么作为一个国家,我们每年将节省超过 4200 亿美元的总成本。
当然,这并非完全可比——我承认这一点——但节省下来的成本比谷歌目前整个业务的收入还要多。仅凭这项分析,我们就能看到Waymo作为一家独立公司,只要能找到降低成本的方法,使其能够像谷歌一样大规模盈利运营,就有机会发展成为一家规模相当的公司。
大卫:这是谷歌一段长达20多年的非凡成功故事。
本:我想总结一下,考虑到这个机会,到目前为止的投资其实并不算大。他们已经烧掉了大约100亿到150亿美元。这就是为什么我之前列举了他们走到今天这一步的所有投资。
大卫:与基础模型相比,这只是小钱。
本:兄弟,还有,咱们就把范围限定在这个领域吧。这相当于优步一年的利润。
大卫:哇。看来是个不错的选择。
本:我以前觉得这纯粹是徒劳无功。现在看来,这真是太明智了。
大卫:完全同意。
本:另外,那100亿至150亿美元的成本是谷歌上个月的利润。
David:说到谷歌,我们是不是应该了解一下谷歌人工智能的最新进展?
本:是的。我想你当时应该在双子星发射现场。
大卫:所以桑达尔在2023年中期颁布了这两项法令:(1)我们将把谷歌的人工智能团队(包括Brain和DeepMind)合并成一个团队。(2)我们将统一采用一个模型,也就是未来的Gemini和DeepMind/Brain团队。你们负责开发,然后谷歌的所有人都要使用它。
本:更不用说,谢尔盖·布林现在显然已经回归,成为双子星计划的员工。
大卫:员工编号……
本:他拿回了自己的牛顿徽章。
大卫:是的,他拿回了自己的徽章。桑达尔做出这些决定后,来自Brain公司的杰夫·迪恩和奥里奥尔·维尼亚尔斯就会加入DeepMind团队,开始着手开发双子座计划。
本:顺便说一句,我现在信了。你让杰夫·迪恩参与进来了。我加入。
大卫:如果杰夫·迪恩参与进来,那这件事大概率会成功。如果你之前还不相信,那就等着听我接下来说的。等他们把诺姆弄回来,等他们和Character AI达成协议,让他重新加入团队,诺姆就会加入Gemini团队,杰夫和诺姆就成为Gemini的两位技术负责人了。所以……
本:走吧。
大卫:……我们开始吧。他们实际上在2023年5月的谷歌IO主题演讲中很快就宣布了这一点。他们发布了Gemini,公布了相关计划,还推出了搜索中的AI概览功能,首先是作为实验室产品,然后后来成为所有谷歌搜索用户的标准功能。
本:顺便说一句,这太疯狂了。谷歌搜索的数量简直难以想象。我确信肯定有具体的数字,但想想看,除了像流媒体这种高带宽应用之外,这几乎是目前最高的计算规模了。想想谷歌搜索的次数。他们对所有这些搜索都运行了LLM推理,或者至少是他们愿意展示AI概览的那些搜索,我确信这并非指每个查询,但肯定占了很大一部分。
大卫:虽然只是其中一部分,但谷歌搜索量仍然非常庞大。我经常看到它们。这实际上是谷歌决定立即以人工智能的速度运营。ChatGPT 于 2022 年 11 月 30 日发布。现在已经是 2023 年 5 月了。所有这些决定都已做出,所有这些变化都已发生,他们将在 I/O 大会上宣布这些内容。
本:他们确实充分利用了现有的基础设施。他们可以说,哦,当然,我们可以对每个查询进行推理,或者说,谷歌,我们可以处理。
大卫:所以,他们在2023年5月发布的这款新的Gemini模型的关键在于它的多模态特性。也就是说,它将支持所有类型的数据——文本、图像、视频、音频,全部集成在一个模型中。他们计划在2023年12月发布早期公开版本。这仍然令人难以置信。他们花了六个月的时间,从开发、测试到发布,全程参与测试。
本:太棒了。
David:太棒了。2024年2月,他们推出了Gemini 1.5,代币规模达到了100万枚。这比市面上任何其他模型的规模都要大得多。
本:这催生了各种各样的新应用场景。很多人之前都说,哦,我以前试过用人工智能,但它处理不了我的X、Y、Z应用场景。现在他们可以了。
David:第二年,也就是 2025 年 2 月,他们发布了 Gemini 2.0。2025 年 3 月,一个月后,他们推出了 Gemini 2.5 Pro 的实验版本,然后在 6 月份正式发布。
Ben:这就像英伟达的出货速度一样。
大卫:是啊,真的。他们还在2025年3月推出了人工智能模式。现在你可以在google.com上切换到聊天机器人模式了。
本:他们正在进行A/B测试,自动将一部分人切换到AI模式,看看效果如何。这可是摇钱树啊。
大卫:这简直是小题大做。他们还推出了其他各种人工智能产品。比如这段时间推出的 NotebookLM,它是一款人工智能生成的播客。
本:你觉得这像我们吗?感觉有点像事先训练好的。
David:我们收到的短信数量之多,肯定是因为Acquired这款软件。我知道NotebookLM团队里有不少人是Acquired的粉丝。我不知道他们是不是也用我们这款软件训练的。然后还有视频、图片相关的软件,比如Veo 3、Nano Banana,以及最近刚出的Genie 3。Genie简直太疯狂了。这是一个基于提示和视频的世界构建器。
本:你还没真正用过它吧?你只是看了那个宣传视频?
大卫:是啊,我看过视频了。但我还没实际用过。
本:如果真能那样,那就太不可思议了。它是一个实时生成式的……
大卫:世界建造者。
本:……世界构建器,没错。你往右看,它就会在你右边创造出各种东西。把它和 Vision Pro 硬件结合起来,你就仿佛置身于一个奇幻世界。
大卫:他们宣布Gemini的月活跃用户现在达到了4.5亿。这其中也包括了所有访问Nano Banana的用户。
本:我简直不敢相信这个数据。太疯狂了。即使最近在应用商店排名第一,我还是难以置信谷歌会这么说,所以这肯定是真的。但我很好奇,他们把Gemini应用的使用案例都算进去了?
大卫:当然,所有使用 Nano Banana 的人都在使用 Gemini。
Ben:但是,这个数字是统计了AI概览的使用情况,还是统计了AI模式的使用情况,还是像Meta说的那样,我无意中统计到的、使用Meta AI的人数?那完全是胡扯。那是一些在Instagram上搜索的人,无意中看到了Llama模型,触发了一些功能,然后他们就觉得“呃,快走开”。我其实只是想统计用户数量。到底是4.5亿,还是4.5亿?
大卫:问得好。无论如何,考虑到他们所处的时代,从零开始取得这样的成就确实令人惊叹。
本:尤其是在收入达到历史新高的情况下,他们似乎到目前为止——至少在这个不稳定的早期阶段——能够找到在人工智能尖端领域保持核心业务运转的同时,还能作为竞争对手取得成功的方法。
David:我们稍后会进行牛熊分析,在此先预告一下,正如我们在 Alphabet 那一集中讨论的那样,谷歌在移动转型过程中,确实有着非常出色地应对平台变化的历史。
本:没错。
大卫:人工智能平台转型之路的开局确实比较坎坷,非常坎坷,但是,嘿,你看,如果要制定一个应对这种坎坷开局的方案,很难找到比他们过去两年所做的事情更好的方案了。
本:好的,我来给大家简要介绍一下公司目前的业务情况吧?
大卫:给我们介绍一下公司目前的业务情况。哦,对了。还有,联邦政府认定他们是垄断企业,但后来因为人工智能的出现,决定不采取任何行动。
本:从我们发布Alphabet那一集到现在发布谷歌AI那一集(或者说第二部分和第三部分,如果你喜欢更简单的命名方式的话),期间发生了一起美国诉谷歌的反垄断案。法官首先裁定谷歌在互联网搜索领域构成垄断,但随后并未提出任何实质性的补救措施。虽然有一些补救措施,但我认为它们无关紧要。谷歌无需剥离Chrome浏览器,也无需停止向苹果和其他公司支付数百亿美元。
换句话说,没错,谷歌的确是垄断企业,任何干预措施都会对整个生态系统造成过多的后续影响。所以我们只能任由他们继续这样做。法官给出的理由之一是,他们之所以不打算采取这些行动,是因为人工智能领域的竞争。由于数百亿美元的资金涌入了像OpenAI、Anthropic和Perplexity这样的公司,谷歌实际上面临着一场新的战争,我们将让自由市场自行创造有效的竞争环境,而不是去束缚谷歌的手脚。
我个人认为这种说法有点荒谬。这些人工智能公司目前都没有实现净盈利,而且即便它们筹集了巨额资金,也不代表这种状况会永远持续下去。它们很快就会把现有的资金消耗殆尽。如果资金来源枯竭,谷歌目前没有任何能够自给自足的竞争对手,无论是在其传统的搜索业务领域还是在人工智能领域。这一切都取决于人们是否相信机会巨大,从而不断地向这些竞争对手投入数百亿美元。
大卫:很多人都发表过类似的轻率评论,但也有道理。嘿,尽管谷歌在 ChatGPT 事件发生时反应迟钝,但如果最终结果是他们避免了像微软那样因美国联邦法院的垄断判决而遭受业务损失,那也是值得的。
本:嗯,这里有个很有趣的梗图,你可以画出来。你知道那个梗图吗?就是有人推多米诺骨牌,然后它最终推倒了一堵大墙?
大卫:是的。
本:伊利亚离开谷歌创办 OpenAI 就像多米诺骨牌一样,其连锁反应是谷歌并没有被拆分。
大卫:正是如此。
本:这实际上拯救了谷歌。
大卫:这实际上拯救了谷歌。
本:简直太疯狂了。
大卫:简直太疯狂了。
本:好了,今天我们来聊聊正事。过去12个月,谷歌的营收达到了3700亿美元。盈利方面,他们在过去12个月里创造了1400亿美元的利润,超过了其他任何一家科技公司。世界上唯一一家盈利超过谷歌的公司是沙特阿美。别忘了,谷歌是史上最成功的公司。
大卫:我们在 Alphabet 那一集的结尾也提到过,即使在人工智能时代以及过去 10 年、过去 5 年发生的一切之中,谷歌的核心业务自 2015-2016 年 Alphabet 那一集结束以来仍然增长了 5 倍。
本:市值方面,谷歌的股价飙升,已经超过了之前的2万亿美元峰值,并在本月初刚刚突破了3万亿美元大关。他们是全球市值第四高的公司,仅次于英伟达、微软和苹果。简直太疯狂了。
他们的资产负债表——实际上,我觉得这很有意思;我通常不会把资产负债表作为分析的一部分,但在这个例子中它很有用,原因如下——他们拥有950亿美元的现金和有价证券。我本来想就此打住,然后说,哇!看看他们有多少现金和资源!
大卫:我其实很惊讶它居然不多。
本:2021年的时候,这个数字是1400亿美元,但在过去四年里,他们已经大幅转变了策略,从积累现金转向投入现金。其中很大一部分用于人工智能数据中心建设的资本支出。他们在资本支出方面采取了与微软和亚马逊类似的积极主动的策略。
但我始终想不明白的是,其中最大的一部分实际上是股票回购,而他们却开始派发股息。如果你不是金融从业者,可以这样理解:没错,我们仍然需要大量现金投资于人工智能和数据中心的未来,但我们实际拥有的现金远超所需,于是决定将多余的现金分配给股东。这简直太不可思议了。
大卫:这是有史以来最好的生意,对吧?
本:这说明他们的核心搜索广告业务有多么疯狂。如果他们说商业史上资本最密集的竞争正在上演,那我们一定要赢。而且,除了我们预估的投入之外,我们还有大量的额外现金储备,以及足够的安全缓冲来应对这场资本支出竞赛。
大卫:是啊,哇。
本:所以这里有两个值得关注的业务:(1)Gemini,看看它到底发生了什么;(2)谷歌云的简史。我今天想告诉你们云业务的数据,但或许更重要的是了解我们是如何发展到今天的云业务的。
首先说说Gemini项目。因为这是谷歌,而谷歌的财务报表(我认为)是我们研究过的所有公司中最晦涩难懂的,所以他们能把真相藏在财务报表里最让我恼火。当然,我们并不知道Gemini的具体收入。
我们知道的是,Google One 套餐拥有超过 1.5 亿付费用户。其中大部分用户订阅的是非常低档的套餐,每月 5 到 10 美元。人工智能功能在每月 20 美元的套餐中才有,该套餐包含高级人工智能功能,但我认为这只占目前 1.5 亿用户的一小部分。
大卫:我想我吃的就是这个。
本:但有两点需要注意:(1) 用户增长迅速,1.5 亿用户同比增长近 50%。(2) 谷歌拥有 1.5 亿订阅用户的订阅套餐。我一直认为人工智能作为一种付费商业模式没有未来,它必须像搜索一样依靠广告支持。
大卫:但是,嘿,这可不是小事。这就像——
本:那几乎占了美国人口的一半。
大卫:Netflix有多少订阅用户?
本:Netflix 的用户数以亿计。Spotify 现在的用户数也达到了 2.5 亿美元左右。我们现在生活在一个真正拥有规模庞大的消费者订阅服务的世界。
我要感谢Shishir Mehrotra,是他给了我这个启发。我们昨晚聊了聊,因为我在上一期节目里提到了他,他听到了,就联系了我,我们聊了聊,这让我彻底改变了想法。我以前认为,如果你要对某些东西收费,你的潜在市场就会缩水90%到99%。但他提出的观点是,如果你打造一个真正有吸引力的产品组合,而谷歌拥有打造这种产品组合所需的数字资源……
大卫:我的天哪。YouTube Premium,NFL周日比赛门票。
Ben:是的,Play 商店里的东西、YouTube Music、所有 Google One 存储服务,他们都可以把 AI 集成到这些服务里,并通过巧妙的捆绑销售策略,找到一种方法来打造一款付费 AI 产品,从而真正触达大量的付费用户。
大卫:完全同意。
本:所以我们根本搞不清楚Gemini现在赚多少钱。反正可能也不盈利,那分析它还有什么意义呢?
大卫:好吧,给我们讲讲Cloud的故事吧。我们特意没有在Alphabet那一集中提到Cloud。
本:实际上就是谷歌第二部分。
大卫:是的,谷歌第二部分,因为它是谷歌推出的新产品,而且现在非常成功,它与我们在谷歌第二部分讨论的其他所有产品都是在同一时期启动的。但它对人工智能来说具有非常重要的战略意义。
本:现在回过头来看,它比刚推出时看起来更有战略意义。简单介绍一下背景。它最初是 Google App Engine。在 2008 年,它为人们提供了一种快速搭建网站后端(不久后也为移动应用后端)的方式。它是一个平台即服务 (PaaS),所以你必须按照谷歌特有的方式去做。
它非常固执己见。你必须使用他们指定的SDK,必须用Python或Java编写代码,必须严格按照他们要求的方式部署。他们不会说:“嘿,开发者,你想做什么都可以,只要用我们的基础设施就行。” 它非常固执己见,与当时AWS的做法截然不同。
他们今天仍在做的事情,最终也被全世界认可,那就是云应该是一种基础设施即服务(IaaS)。就连微软也相当迅速地将Azure转型为这种模式,就像是:你需要存储?我们有存储。你需要虚拟机?我们有虚拟机。你需要计算?你需要数据库?
大卫:我们罩着你。
本:基础架构模块。最终,谷歌在2012年推出了自己的基础设施即服务(IaaS),这花了四年时间。他们推出了谷歌计算引擎(Google Compute Engine),后来将其更名为谷歌云平台(Google Cloud Platform)。这就是如今这家公司的名称。
人们对谷歌的诟病在于,他们始终没能找到与企业对接的方法。他们的核心业务是为用户打造优秀的产品,并不断精益求精,力求让所有产品都尽可能地自助化。而他们的盈利模式则是广告。说实话,除了使用谷歌搜索,我们别无选择。
大卫:它不一定需要为他们的广告客户提供出色的企业体验,因为他们反正都会来。
本:所以他们拥有这种自助服务体验。与此同时,云计算领域竞争激烈。这些都是大宗商品。
大卫:一切都与企业有关。
本:这是最低价格。关键在于建立企业合作关系,巧妙地捆绑销售,并提供完整的解决方案。
大卫:你说的是解决方案,我听到的却是毛利率。不过,谷歌在这个领域确实有点脱离了他们擅长的领域。
本:而且早期他们并不想泄露任何核心技术。他们把自己的基础设施视为秘密武器,不想让任何人使用。我们自己开发的最好的软件工具,比如 Bigtable 或 Borg,以及我们运行 Google 或 Distbelief 的方式,这些服务都不会在 Google Cloud 上提供。
大卫:这些都是竞争优势。然后他们聘请了甲骨文公司前总裁托马斯·库里安。
本:一切都改变了。2017年,也就是他加入公司两年前,他们运营了10年,营收达到了40亿美元。2018年,他们做出了第一个非常明智的战略决策:推出Kubernetes。这个决策的关键在于,如果我们能让开发者更容易地将应用程序迁移到其他云平台,那么世界对多云的需求就会大大增加。
David:我们是排名第三的玩家,我们没有什么可失去的,所以我们可以提供这个工具,作为对抗 AWS 和 Azure 的反制措施。
本:我们转变了开发者的思维模式,让他们使用我们平台上编排的这些容器,然后我们提供强大的服务来帮你管理。这非常明智。这成为了他们战略的支柱之一:你想用多云?我们会让它变得简单,当然,你也可以选择 AWS 或 Azure。这将会非常棒。
大卫,正如你所说,甲骨文公司前总裁托马斯·库里安于2018年底加入公司。要说谁最了解企业需求,莫过于甲骨文前总裁了。这一点很快就体现在营收增长上。
2020年,他们的营收突破了130亿美元,三年内几乎翻了三倍。他们为市场推广部门招了大约1万人。我一点都没夸张。在他刚加入时,这个团队只有150人,而且大部分都集中在加州,不像现在这样分布在全球各地。最讽刺的是,谷歌一直都是一家云计算公司。他们拥有最优秀的工程师,构建了如此惊人的基础设施。
大卫:他们有产品,有基础设施,只是缺乏市场推广组织。
本:产品化完全是谷歌式的。它只适合我们这些工程师。他们并没有真正打造出能够引导企业按照他们想要的方式构建的产品。这一切都改变了。2022年,他们的营收达到了260亿美元。2023年,他们成为了真正可行的第三云平台。他们也在2023年实现了盈利。如今,他们的年营收超过500亿美元,并且以每年30%的速度增长。他们是主要云服务提供商中增长最快的,五年内增长了五倍。
实际上,关键在于三点:(1) 找到真正服务企业的方式;(2) 积极拥抱多云战略,真正满足企业开发者的需求;(3) 人工智能一直是所有超大规模云服务商的强劲助力,因为这些工作负载都需要在云端运行,毕竟它们涉及海量数据、计算资源和能源消耗。在谷歌云上,你可以使用他们大量生产的TPU,而其他公司却还在苦苦哀求英伟达分配GPU资源。如果你愿意不使用CUDA,而是基于谷歌技术栈进行开发,他们就能为你提供充足的TPU资源。
大卫:这就是我们把云技术留到这期节目的原因。谷歌云有两个方面,我认为他们在创立App Engine之初并没有预料到,但如今对谷歌来说却具有极其重要的战略意义。
其一,云计算是人工智能的分发机制。如今,如果你想操控人工智能,你需要一个强大的应用程序、一个优秀的模型、一艘强大的飞船,或者一个强大的云平台。谷歌正努力同时拥有这四者。我认为,没有其他公司能同时拥有其中两项。
本:我觉得这个决定是对的。想想那些大型人工智能公司。英伟达有云服务,但其实不然。他们只有芯片。他们制造了最好的芯片,也是每个人都想要的芯片,但终究只是芯片。
然后你看看其他大型科技公司。Meta 目前只有应用,他们现在完全退出了前沿模式的竞争。我们拭目以待他们这波招聘热潮会带来什么结果。再看看亚马逊,他们的基础设施和应用都有。也许吧。我其实不太清楚亚马逊网站的情况。但我确信它能从LLM(法学硕士)中受益匪浅。
大卫:主要是云。
本:还有云计算领域的领导者。微软,它就是一家云计算公司。他们也开发一些模型,但是……
大卫:他们有应用程序,但确实,还有云。
本:苹果?
大卫:没什么。
本:没什么。AMD,就只有芯片。
David:OpenAI 模型。人类学模型。
本:这些公司没有自己的数据中心。他们大肆宣扬要自主研发芯片,但实际上并没有,更谈不上大规模生产。谷歌拥有规模化的数据中心、规模化的芯片,以及规模化的模型应用。即使只是从 google.com 上搜索人工智能概览,也能感受到这一点。
大卫:还有规模化应用。他们拥有人工智能的所有支柱,我认为其他任何公司都只有一项。
本:而且他们损失的净收入最多。
David:那么,具体来说,就涉及到芯片方面的问题。如果谷歌没有云服务,它就不会有芯片业务,而只会拥有内部芯片业务。外部公司——用户、开发者、模型研究人员——要想使用TPU,唯一的办法就是让谷歌拥有云服务来交付它们。因为亚马逊或微软绝对不可能把谷歌的TPU放到他们的云平台上。
本:我们拭目以待。
大卫:到时候再说吧。
本:我觉得一年之内可能会发生。已经有传言说,未来几个月的一些NeoCloud将会配备TPU。
大卫:有意思。
Ben:目前还没有正式公布,但TPU很可能很快就会在NeoCloud上推出,这很有意思。谷歌为什么要这么做?他们是想打造类似NVIDIA那样的芯片销售模式吗?我不这么认为。我觉得他们更可能是想围绕自己的芯片构建一个生态系统,就像CUDA那样。而只有当芯片能够被用户访问,并且能够被运行现有工作负载的任何地方使用时,才能真正有效地实现这一点。
大卫:如果真发生了,那可就太有意思了。你看,你说的或许有道理。也许有一天AWS或Azure上会出现TPU,但我认为他们一开始不可能这么做。如果谷歌没有云平台,开发者也没有办法使用TPU,更别提开始需要TPU了,亚马逊或微软会不会说:“好吧,谷歌,我们会买一些你的TPU,即使现在还没有开发者用得上。”
大卫:好的,那么接下来我们就进入分析环节。我认为我们需要对这只股票进行多空分析。
本:这次我们必须这么做。
大卫:得把它恢复过来。
本:就目前这些事件而言,我们似乎需要描绘出可能的未来。
大卫:把牛熊策略重新搬上荧幕。我喜欢。然后我们再来讲讲战术手册、力量法则和精髓。把它带回家。
本:完美。好的,以下是我的几条利好理由。谷歌拥有覆盖几乎所有人的互联网入口,他们可以随心所欲地引导流量。你已经在人工智能概览和人工智能模式下看到了这一点。尽管很多人使用 ChatGPT 来做很多事情,但谷歌的流量(我猜)仍然处于历史最高水平,而且这已成为一种常态。
大卫:没错,威力强大。
本:这是对实施情况的押注,希望谷歌能够找到执行方法,并利用人工智能打造一个伟大的商业帝国,但最终结果仍可能由他们自己决定。
大卫:而且他们的产品确实可行。在我看来,Gemini 并不比 OpenAI 或 Anthropics 的产品差。
本:不,我完全同意。这是价值创造和价值获取的问题。价值创造方面已经非常出色。价值获取机制还有待确定。谷歌过去的价值获取机制是历史上最好的机制之一。这就是问题的关键所在。我们不要误以为这不是一次糟糕的体验。这是一次非常棒的体验。
我们已经讨论过,谷歌拥有在人工智能领域取胜的所有能力,而且优势非常明显。基础模型、芯片、超大规模数据中心,所有这些都具备自给自足的资金。另一个令人惊讶的地方是,云计算公司拥有自给自足的资金,英伟达也拥有自给自足的资金,但没有一家模型开发商拥有自给自足的资金,他们都依赖于外部资本。
大卫:谷歌是唯一一家拥有自给自足资金的模型制造商。
本:是不是很疯狂?基本上其他所有大规模应用的基础模型公司实际上都是初创公司。而谷歌的资金来源如此庞大,以至于他们可以随意给股东额外分红。再说一遍,我们现在处于牛市行情。
大卫:嗯,你这么一说,是的。
本:我们之前没提到的一点是,谷歌拥有连接所有数据中心的超高速光纤网络。2000 年互联网泡沫破灭后,谷歌以极低的价格收购了所有这些暗光纤,并在过去十年中逐步启用。他们现在拥有数据中心之间专属的私有回程网络。没有任何其他公司拥有这样的基础设施。更何况,这条网络还服务于 YouTube。这可是高速光纤啊!
大卫:这本身就是对谷歌未来发展的一个乐观论据。
本:说得很有道理。
大卫:昨天录制这段视频的时候,本·汤普森就此事发表了一篇长文。
本:本·汤普森本周发表了一篇关于互联网的精彩文章,观点很有意思。基于文本的互联网是早期互联网,是互联网的雏形,因为当时带宽有限。真正引人入胜的用户体验是……
大卫:视频。
本:……随时随地都能观看高清视频。
大卫:我们早已生活在 YouTube 互联网之中。
Ben:他们不仅可以利用唯一规模庞大的 UGC 媒体(包括长视频和短视频)来训练模型,而且他们还拥有排名第二的搜索引擎,这个庞大的目标网站,所以他们预览了一些内容,比如你将能够购买 AI 标记或 AI 确定的出现在视频中的内容。
如果他们愿意,他们完全可以给每个视频里的每个产品都贴上标签,让所有产品都能立即购买。这不需要任何人工操作。他们只需要这样做,然后运行他们标准的广告模式。这是本昨天发表的一篇令人大开眼界的文章。或者,如果你几周前就听过关于这方面的讨论,那应该就是这篇文章了。
大卫:此外,他们还在开发各种视频人工智能应用,比如Flow和Veo。这些应用对YouTube视频生成有什么帮助?它们会提高YouTube的用户参与度和广告收入。效果肯定会非常好。
本:没错。尽管他们也经历了一些人才流失,但他们仍然拥有非常强大的后备人才库。他们也已经证明,他们愿意为合适的人才投入数十亿美元,并留住他们。
单位经济效益。我们来谈谈芯片的单位经济效益。所有厂商都向英伟达支付75%-80%的毛利率,这意味着芯片的利润率大约是制造成本的4倍或5倍。
很多人把这称为“詹森税”或“英伟达税”。你可以这么称呼它,也可以称之为精明的商业策略,或者定价权,或者供应稀缺,随便你怎么称呼,但事实就是如此。任何不自己生产芯片的公司,都得向英伟达支付巨额溢价。
谷歌仍然需要向其芯片硬件合作伙伴博通支付一定的利润,博通负责芯片制造和与台积电对接等大量工作。我听说博通在与谷歌合作开发TPU时,利润率约为50%,而英伟达的利润率则高达80%。但这仍然是一个巨大的差异。供应商50%的毛利率和80%的毛利率之间的区别,意味着最终产品的加价倍数分别是2倍和5倍。
大卫:我想你说得对。
本:这么说来,成本影响确实非常巨大。你可能会问,芯片真的是运行这些数据中心或训练这些模型总成本的主要部分吗?芯片确实是成本的主要驱动因素。它们的折旧速度非常快。由于我们不断突破芯片性能极限、下一代模型的需求以及台积电的生产速度,芯片的折旧周期最多也只有五年。
大卫:即使是这样也太乐观了。如果你认为五年前人工智能芯片的价值会贬值五年,那我们距离 ChatGPT 的问世还有两年时间。
Ben:或者想想 Jensen 在今年 GTC 大会上说的话。他当时在谈论 Blackwell,还提到了 Hopper。他说,呃,你们不需要 Hopper。我的销售人员肯定会恨死我,但你们现在真的不需要 Hopper。当时说的是 H100。就在我们录制最新一期 NVIDIA 节目的时候,这可是炙手可热的芯片。
大卫:事情进展很快。
本:我看到一些估算,人工智能数据中心运营成本的一半以上是芯片及其折旧费用。人力成本,也就是研发费用,实际上相当高,因为聘请人工智能研究人员和所有软件工程师意义重大。大概占25%到33%。电力成本实际上只占很小一部分,只有2%到6%。
当你思考谷歌正在做的事情的经济效益时,实际上它对你在芯片方面向供应商支付的利润率非常敏感,因为这是整个过程中最大的成本驱动因素。
为了准备这期节目,我特意向Atreides Management的合伙人Gavin Baker核实了一些内容。他是一位资深的上市股票投资者,长期研究这个领域。我们之前在NVIDIA GTC的预热活动上采访过他。
他指出,通常情况下,就像历史上的技术发展阶段一样,成为低成本生产商并非那么重要。谷歌的成功并非因为他们是成本最低的引擎,苹果的成功也并非因为他们是成本最低的引擎。成本并非决定胜负的关键。
但这个时代或许有所不同,因为这些人工智能公司的利润率不像我们习以为常的科技公司,至少不像软件公司那样高达80%。这些人工智能公司的毛利率充其量也只有50%左右。
谷歌无疑是代币的低成本提供商,因为他们运营着自己的所有基础设施,而且他们可以获得低溢价的硬件,这实际上产生了巨大的差异,并可能意味着他们是全球代币生产的赢家。
大卫:这确实是一个非常有说服力的看涨理由。
本:这是一个非常曲折离奇的看涨分析,但如果你真的想深入了解,他们会发行代币。
大卫:我还要补充一点,进一步证明谷歌的前景光明。我们在第二部分(Alphabet 那一集)讨论的所有内容,谷歌旗下的所有其他产品——Gmail、地图、文档、Chrome、Android——都包含着关于你的个性化数据,这些数据都归谷歌所有,他们可以利用这些数据为你打造其他公司无法提供的个性化人工智能产品。
本:又一个很棒的观点。要彻底证明人工智能的牛市前景,关键在于:与搜索相比,人工智能是否是一个好的行业?搜索是一个非常好的行业。就目前而言,人工智能还不是,但从理论上讲——再说一遍,我们现在处于牛市,所以我承认这一点——它应该是好的。传统的网络搜索中,你通常输入两到三个词。这就是平均搜索查询长度。
我和比尔·格罗斯谈过,他指出,在人工智能聊天中,你经常要输入 20 多个字,因此应该会出现一种广告模型,而且广告费率实际上应该大幅提高,因为你的精度非常高。
大卫:你的决心更加坚定。
本:你对用户的需求了如指掌,所以你可以真正决定是否投放广告。人工智能在广告定向方面应该非常出色。因此,关键在于弄清楚用户界面、付费与免费广告的组合,以及具体的广告模式。但理论上,即使我们现在还不清楚产品最终会是什么样子,它应该非常适合盈利。
由于人工智能带来了如此惊人的变革性体验,所有那些曾经发生在现实世界或根本不会发生的互动,例如问题的答案和停留时间,现在都发生在人工智能聊天中。因此,数字互动的市场规模似乎比搜索时代更大。同样,随着市场规模的扩大,商业化也应该会增加。
那么,Waymo 有可能发展成为像谷歌一样规模的企业,这种乐观的看法就成立了。
大卫:我刚才也在想这个问题。这实际上是在探讨如何用人工智能取代搜索市场。Waymo 以及人工智能在传统搜索市场之外的其他应用,都可能进一步推动这一趋势。
本:还有一种“银河大脑”的牛市论调,那就是如果谷歌真的开发出了通用人工智能(AGI),那么这一切都不重要了。当然,这才是最有价值的。
大卫:这似乎超出了《获得》这集节目的讨论范围。
本:它断开了。是的,同意。
悲观论调。到目前为止,谈论人工智能都很有趣,但人工智能的产品形态并不适合广告。尽管它创造了更多价值,但价值获取却少得多。仅凭粗略估算,谷歌在美国每位用户每年就能赚到大约 400 美元。这是一项人人都在使用的免费服务,而谷歌每年却能赚到 400 美元左右。谁会愿意每年花 400 美元来使用人工智能呢?这几乎是极少数人的事。
大卫:肯定会有一些人会,但不是每个美国人都会。
本:有些人愿意出价1000万美元。如果你只关注眼前的比赛,我看不出有什么办法能立即实现价值获取。想想谷歌1998年成立的时候。仅仅两年后,他们就推出了AdWords。他们迅速找到了一种惊人的价值获取机制。
大卫:很快。再举个看跌的例子,想想谷歌1998年发布的时候。它当时的产品显然更胜一筹。但现在情况完全不同了。
本:不,有四五种很棒的产品。
David:谷歌在聊天机器人领域推出的专用人工智能产品最初明显逊色于其他产品,但现在可以说已经可以与其他几款产品相媲美了。
本:他们占据了90%的搜索市场。我不知道他们在人工智能市场占多少份额,但肯定不到90%。是25%吗?我不知道,但稳定下来可能在25%左右,也许能到50%。不过,人工智能市场将会有很多大玩家。所以,即使他们能像在搜索领域那样,把每个用户都变现,他们在人工智能市场所占的份额也会少得多。
大卫:或者至少现在看来确实如此。
本:人工智能可能会取代搜索的大部分应用场景,即便不会完全取代,我敢肯定它也会取代很多最有价值的应用场景。如果我要计划一次旅行,我会用人工智能来规划。我不再会在谷歌上搜索那些会弹出 Expedia 广告的东西了。
大卫:或者健康领域。另一个巨大的垂直领域。
本:嘿,我觉得我可能得了某种病,有点像间皮瘤。是吗?哦,你打算把律师广告放在哪里?也许你会放在那里。也许只是广告产品而已。但这些广告价值很高……
大卫:查询。
本:……以前的一些搜索感觉像是最先被人工智能接管的内容。还有其他看跌的理由吗?
David:我认为唯一另一个看跌的理由是,他们现在面临着作为现有企业所面临的额外挑战,人们和生态系统未必像当初谷歌还是初创公司时那样支持他们,也未必像在移动转型时期人们仍然支持谷歌那样支持他们。
我认为如今创业公司更能赢得人心。所以我觉得这无法量化,但无疑会让这次的创业之路更加艰难。
本:你说得对。他们第一次的时候确实得到了铺天盖地的公关宣传和公众支持。
大卫:部分原因也是系统性的。比如,现在整个科技行业,尤其是大型科技公司,都比10年前或15年前更不受国家和世界的欢迎了。
本:这更重要了。这可是大型基础设施项目。它不再是弱者了。
David:这也会影响 OpenAI、Anthropics 和初创公司,但我认为影响程度较小。
本:和谷歌相比,他们很早就得像大型科技公司那样行事。谷歌在IPO的静默期都接受了《花花公子》的采访。时代变了。
大卫:嗯,鉴于 OpenAI 发生的种种风波,我不太认为他们能算得上是一家成熟的公司。
本:公平。
大卫:公司实体,不管它是什么。不过我明白了。
本:嗯,我把我的大部分策略都融入到故事本身了。你想玩权力游戏吗?
大卫:好的。我们继续,来谈谈权力。汉密尔顿·赫尔姆对谷歌在人工智能时代所展现的七大权力进行了分析。这七大权力分别是规模经济、网络经济、反向定位、转换成本、品牌、资源集中利用和流程权力。
本:问题是,这些因素中哪些能够帮助企业实现持续的差异化收益?是什么让企业能够持续地获得比最接近的竞争对手更高的利润?通常我们会从整体上分析这个问题。但我觉得在这一期节目中,我们应该把重点放在人工智能产品上。
大卫:同意。
Ben:Gemini AI 模式和 AI 概览的使用情况与 Anthropic、OpenAI、Perplexity、Grok、Meta AI 等竞争产品进行了比较。
大卫:等等。规模经济效应肯定存在。在人工智能领域,规模经济效应甚至比传统技术领域更为显著。
本:他们确实更胜一筹。你看,他们把模型训练成本分摊到每一次谷歌搜索中。我确信,人工智能概览中使用的模型肯定经过了高度精简。但想想其他模型公司生成了多少推理令牌,Gemini 又生成了多少。他们只是把固定的训练成本分摊到海量的推理任务中,我见过一张非常惊人的图表。我们会把它发给邮件订阅用户。
2024年4月,谷歌在其所有平台上处理的代币数量为10万亿个。到2025年4月,这一数字接近500万亿个。这意味着一年内,谷歌通过推理在各项服务中分发的代币数量增长了50倍。
从2025年4月到2025年6月,代币数量从略低于500万亿枚减少到略低于1千万亿枚。严格来说应该是980万亿枚,但现在——因为已经是夏季后期——他们肯定会发放的代币数量甚至可能达到数千万亿枚。
大卫:哇。
本:所以,除了其他显而易见的规模经济效益(例如摊销硬件的所有成本)之外,他们还将训练运行的成本摊销到大量的价值创造中。
大卫:规模经济肯定是最大的优势。
本:我觉得切换成本相对较低。我用 Gemini 处理一些事情,然后很容易就能换回去。但如果是个人人工智能,情况可能就不同了,毕竟它要和你的日历、邮件等等都整合起来。
大卫:人工智能产品的转换成本尚未真正显现,但我预计这种情况迟早会发生。
本:他们肯定在企业内部这么做了。网络经济?我不认为如果其他人也是Gemini用户,对我更有利,因为不管有没有人参与,他们都在吸纳整个互联网。
大卫:同意。我相信人工智能公司最终会发展出网络经济。我能想到一些可行的方法,但就目前而言,还不行。至于那些基础模型公司,目前我还想不出什么显而易见的理由。
本:汉密尔顿的分发渠道在哪里?因为这是他们目前独有的优势。尽管 ChatGPT 拥有舒洁 (Kleenex) 品牌,但谷歌的分发能力仍然令人难以置信。我不知道,这是否意味着他们掌握了某种独特的资源?
大卫:大概是资源被逼到绝境了吧?是的。
本:绝对是这样。
大卫:谷歌搜索确实是一种被边缘化的资源。
本:他们肯定没有反制策略。他们正在被反制。我不认为他们拥有强大的研发实力,除非他们能够稳定地研发出下一代Transformer。但我认为我们目前还没有看到这种情况。很多不同的实验室都在进行着非常出色的研究。他们拥有品牌影响力。
大卫:品牌塑造是个很有意思的话题。嗯,我本来想说,这有点像我之前说的熊市论点,因为他们是现有企业。
本:有利有弊,但我认为总体上是积极的。
大卫:很有可能。大多数人都信任谷歌。
本:他们可能不信任这些人工智能公司,谁知道呢,但我相信谷歌。我敢肯定,只要他们愿意继续发布最前沿的产品,这一点实际上比任何缺点都更有说服力。
总而言之,规模经济是最大的优势。其次是品牌效应,以及资源的垄断地位。
大卫:而且未来可能还会产生转换成本。嗯,听起来没错。
本:但值得注意的是,并非所有人都如此。在《寻人密探组》中,很明显是所有人或大部分人。
大卫:很有意思。
本:嗯,我告诉你,在花了几个月的时间,每天花费无数个小时了解这家公司之后,我总结出来的结论是,这是有史以来最引人入胜的创新者困境的例子。
拉里和谢尔盖掌控着公司。他们曾多次表示,宁愿破产也不愿在人工智能领域失败。他们真的会吗?如果人工智能不如搜索业务赚钱——虽然感觉上它肯定会比搜索业务赚钱,也必须比搜索业务赚钱;毕竟它能创造巨大的价值——如果事实并非如此,而他们要在两种结果之间做出选择:一是实现我们整合全球信息、使其人人皆可访问且实用的使命,二是成为全球最赚钱的科技公司,那么他们会选择哪一个?因为如果仅仅是使命,他们应该在人工智能领域投入比现在更多的资源,并彻底转型到双子座业务。这真是一个棘手的难题。
说实话,我很佩服他们目前是如何保护核心特许经营权的,但这或许属于那种根基正在被蚕食,只是目前财务数据还没反映出来的情况。我也不确定。
大卫:我完全同意。事实上,或许是受你的影响,我认为我的本质也体现了这一点。我觉得,如果你看看所有的大型科技公司,谷歌——尽管考虑到它的起步方式,这听起来有点不可思议——目前在人工智能领域做得最好,它正努力把握各种关键点。
桑达尔和他的领导团队展现出的这种魄力令人钦佩。他们正在做出艰难的决定,比如我们正在整合DeepMind和Brain。我们正在整合并标准化到一个统一的模型上,而且我们会迅速推出这些成果。与此同时,他们也没有做出任何草率的决定。
本:这很难。要迅速但不能草率,你知道吗?
大卫:是的。显然,这一切还处于早期阶段,十年后我们才能看到最终结果。
本:肩负着管理一项使命和一家上市公司股东旗下特许经营权的双重重任,这的确是一项艰巨的挑战。桑达尔和公司处理得非常出色,尤其考虑到他们五年前的处境。我认为,这将是历史上最引人入胜的案例之一,值得我们拭目以待。
大卫:完全同意。好了,我们的谷歌系列报道暂时就到这里。
本:好的,我们来做一些细分。
大卫:好的,我们来聊聊一些特别的事情。首先,我们有一个非常非常令人兴奋的消息要和大家分享。NFL给我们打了电话。
本:我们要去超级碗啦,宝贝。
大卫:Acquired要进超级碗了!太酷了!
本:这简直太疯狂了。
大卫:NFL将在超级碗举办前一周,也就是超级碗周日之前的那个星期五,举办一场创新峰会。今年的超级碗将于二月在旧金山举行。超级碗重返旧金山,NFL举办创新峰会也是顺理成章的事,而我们将承办这次峰会。
本:没错。前一个星期五,会有一些精彩的现场访谈和节目。我们大多数人都知道,在超级碗那周,旧金山一个整洁的礼堂里容纳不下数百万人,而其他场馆也都活动满满,所以大家有机会在线观看直播。随着二月份比赛日期的临近,我们会确保每个人都知道观看直播的方式,包括主持、访谈和超级碗周的各种庆祝活动。
大卫:这将是令人难以置信的一天,为令人难以置信的星期天做好准备。
本:说到体育,我最近终于去看了F1,真是太棒了!强烈推荐大家去看,不管你是不是F1车迷。这绝对是一部精彩绝伦的电影。
大卫:太棒了。你是去电影院看的吗?
本:是的,我在电影院看过。
大卫:哇,真不错。
本:很遗憾我错过了IMAX的放映窗口期,不过体验很棒。我已经很久没去电影院了,无论你是在家看还是去电影院看,我都推荐去电影院,但无论在哪里看,都会是一次很棒的环绕立体声体验。
大卫:自从“时代”巡回演唱会之后,我就没去过电影院了,我想这主要是因为我现在有两个年幼的孩子,家庭生活状况不太好。
本:我的第二个,如果你要笑的话,是 Travelpro 行李箱。
大卫:这是飞行员和空乘人员使用的品牌,对吧?
本:也许吧。我好像见过他们用。他们通常用的是像 Briggs & Riley 或者 Tumi 之类的高端品牌……Travelpro 虽然不是最高端的行李箱,但我买了两个很大的,带我两岁的孩子出国旅行用。
不得不说,它们非常结实耐用。轮子滑动起来非常顺畅,功能齐全。软壳材质,可以装很多东西,而且保护性也很强,即使装满了东西,也不太可能损坏。这大概是你能买到的最经济实惠的行李箱了。
我正在看这款超大的国际托运行李箱。它现在在亚马逊上卖416美元。我之前见过更便宜的。他们经常有很棒的促销活动。这款行李箱的方方面面都符合我的要求,我之前一直以为自己会买Rimowa或者其他非常高端的行李箱。这款简直完美。我想我可能会再买几个Travelpro的行李箱。
大卫:更多 Travelpro 的产品,不错。嗯,听着。对于家庭旅行来说,你不需要那些昂贵的玩意儿。
本:是啊,我买的时候想着随便买个便宜货凑合用用,没想到效果还不错。我真不明白为什么我没有全套Travelpro装备,所以……
大卫:太棒了。
本:这是我预算有限却又非常划算的选择,我强烈推荐给大家。
David:我喜欢 Acquired 正在变成剪线工的样子。
本:我今天就到这里了。
大卫:太好了。好的,我有两个特别安排。一个是其他安排,另一个是我正在进行的谷歌分拆计划的最新进展。但首先,我要说的是我真正要安排的,是 Glue Guys 播客。
本:哦,那太好了。他们太棒了。
大卫:太棒了。我们的好朋友,红杉资本的合伙人拉维·古普塔,还有他的朋友们,前篮球运动员肖恩·巴蒂尔,以及前旧金山49人队、堪萨斯城酋长队和华盛顿红皮队的四分卫亚历克斯·史密斯,他们之间的互动特别好。他们玩得特别开心。
和我们一样,他们一半的节目都是他们自己出镜,另一半则邀请了嘉宾。我和本几周前也上了他们的节目,真的很有意思。节目里我们聊到了这种节目收视率参差不齐的现象,以及节目制作的压力等等。
他们提到了之前采访一个叫赖特·汤普森的人。他们说,你看,这期节目已经有5000次播放了,但好像没人听过。这期节目真的太棒了。我们不是觉得没人听很丢脸,而是觉得那些还没听过的人很可惜,因为这期节目真的太好了。我就想,这才是正确的节目理念。
本:所以你来了。你这是在给所有人送上一份礼物……
大卫:我们把这份礼物送给大家,因为我当时就想,好吧,我得去听听这期节目了。
雷·汤普森,我之前对他一无所知。这些年来,我可能在不知不觉中读过他发表在杂志上的文章。他真是个酷毙了的人。他的口音和比尔·格利一模一样。听他说话,感觉就像比尔·格利不是风险投资家,而是专门写体育文章,并且毕生致力于研究运动员和教练的心理和心态,简直太酷了。真的太酷了。这期节目太棒了。强烈推荐!
本:好的。真的,我现在就把它加入播放列表。
大卫:太好了。这是我预留出来的部分。接下来就是我们家持续不断的电子游戏故事了。在谷歌第一部分里,我说过我正在纠结是买Switch 2还是Steam Deck。
本:没错。你一开始买Steam Deck是因为你觉得你女儿年纪太小,不能和你一起玩电子游戏,所以你就给自己买了一台。
大卫:最新消息是,我出于这个原因选择了Steam Deck。我想如果只是我自己用,它会更理想。我还有更新。
本:你也有台Switch?
大卫:不,还没。但发生了一件不可思议的事。我女儿注意到家里突然出现了一个东西,爸爸偶尔会玩。当时我们正在度假,我正在玩Steam Deck。她问:“那是什么?” 好吧,让我来告诉你。
我最近在玩一款超酷的独立复古风格角色扮演游戏,叫《星之海》。它有点像《超时空之轮》和超级任天堂风格的RPG。我正玩着,女儿走过来问我:“我可以看你玩吗?” 我说:“当然可以,你可以看我玩。” 我玩着游戏,你坐在这儿依偎着我。太棒了!
本:我可以一边玩电子游戏一边说自己是父母。
大卫:然后更精彩的还在后面。大概两周前,我们正在玩游戏,她突然说:“嘿,爸爸,我可以试试吗?” 我说:“当然可以!” 我把Steam Deck递给她,那是我作为父母经历过的最不可思议的事情之一,因为她以前根本不会玩电子游戏。我看着她学习如何使用游戏手柄,如何按下按钮。
本:哇。监督式学习。
大卫:对,对,对。这就是监督式学习。我告诉她该怎么做,然后两三个晚上她就学会了。她甚至还不识字,但她自己摸索出来了,而我则实时观察着她。
过去一周,大部分时间都是她在玩,我帮她问问题,比如,你觉得这里应该做什么?你应该去那里吗?我觉得这就是目标。我觉得这就是……真的太有趣了。
我觉得我可能很快就会给她买一台Switch,这样我们就可以一起玩了,她的生日也快到了。但无意中,Steam Deck却成了我即将满4岁的女儿接触Switch的“入门毒品”。
本:太棒了。你看,这不就是年度最佳父母吗?既能玩电子游戏,又能……哦,亲爱的。我知道了。我收下了。
大卫:哦,好的,我明白了。
大卫:首先,推荐《连线》杂志的史蒂文·列维和他那本关于谷歌的经典著作《在 Plex 中》,这本书是我们所有三期谷歌专题节目的重要参考资料。一定要读读这本书。
还要感谢彭博社的帕米·奥尔森,感谢她撰写的关于 DeepMind 和 OpenAI 的著作《至高无上》,这是本期节目的主要资料来源。
我想也包括凯德·梅茨吧?
本:对于天才创造者来说,是的。很棒的一本书。
David:感谢以下研究人员:Max Ross、Liz Reid、Josh Woodward、Greg Corrado、Sebastian Thrun、Anna Patterson、Bret Taylor、Clay Bavor、Demis Hassabis、Thomas Kurian、Sundar Pichai。
特别感谢尼克·福克斯,在谷歌的三期节目中,我们只采访了他一人进行调研。我们成功完成了三期节目的采访。
Ben:感谢 Worldly Partners 的 Arvind Navaratnam 撰写了关于 Alphabet 的精彩文章,链接在节目笔记中。
致 Jonathan Ross,TPU 的创始团队成员,如今是 Groq 的创始人兼首席执行官,该公司致力于制造用于推理的芯片。
致 Waymo 的 Dmitri Dolgov 和 Suzanne Philion。
致 Atreides Management 的 Gavin Baker。
致 Spyglass 的撰稿人 MG Siegler。MG 是我最喜欢的科技作家和评论员之一。
David:TechCrunch 的元老级撰稿人。
本:没错。我要感谢本·艾德尔森,他不仅是本期节目的优秀思考伙伴,而且最近在Stepchange播客上关于数据中心历史的那期节目也非常精彩。如果你还没听过,我强烈推荐。这才是他们整个播客的第三期,就已经获得了三四万的收听量。这节目火了。
大卫:太棒了。伙计,这比我们第三集做得好多了。
本:这比我们之前做的好多了。如果你喜欢《Acquired》,你一定会喜欢Stepchange播客。本是我的好朋友,所以我强烈推荐你去听听。
致 DeepMind 团队的 Koray Kavukcuoglu,他构建了 Gemini 的核心模型。
Grammarly 的首席执行官 Shishir Mehrotra 曾任 YouTube 的产品经理。
致 Phaidra 首席执行官兼前 DeepMind 团队成员 Jim Gao。
Chetan Puttagunta,Benchmark 合伙人。
感谢 Akash Patel 帮助我理清思路,得出一些结论;感谢 Oakcliff Capital 的 Bryan Lawrence 帮助我思考人工智能数据中心的经济学问题。
如果你喜欢这期节目,不妨去听听我们关于谷歌2010年代早期历史的节目(包括Alphabet特辑),当然还有我们关于微软和英伟达的系列节目。听完这期节目后,可以去听听我们与Shopify创始人兼CEO Tobi Lütke的ACQ2访谈,然后来acquired.fm/slack的Slack频道和我们一起讨论。
大卫:别忘了我们即将迎来十周年庆典!我们将举办一场公开的Zoom线上会议,就像以前那样,欢迎所有人参加。听众朋友们,欢迎加入我们的Zoom会议,时间是太平洋时间10月20日下午4点。详情请见节目笔记。
本:那么,各位听众,我们下次再见。
大卫:下次再见。