LLM之战，谷歌输了，越来越多顶尖研究员跳槽OpenAI

如今，谷歌最具开创性论文的许多主要贡献者已经离开，或是加入了 OpenAI 等竞争对手，或是创办了自己的公司。LLM 之战，谷歌终是输了？

前几天，谷歌差点遭遇一场公关危机，Bert 一作、已跳槽 OpenAI 的前员工 Jacob Devlin 曝出，Bard 竟是用 ChatGPT 的数据训练的。

随后，谷歌火速否认。

而这场争议，也牵出了一场大讨论:为什么越来越多 Google 顶尖研究员跳槽 OpenAI？这场 LLM 战役它还能打赢吗？

知友回复

莱斯大学博士、知友「一堆废纸」表示，其实谷歌和 OpenAI 的差距，是数据的差距。

「OpenAI 对 LLM 有强大的执念，这是 Google 这类公司完全比不上的。当然人的差距只是一个方面，数据的差距以及对待数据的态度才是其成功的关键。人可能可以花钱挖回来，技术可能可以补上，但数据的差距 Google 短时间内没法追上。」

显然，ChatGPT 的成功中，至关重要的一环，就是高质量的标注数据。

「一堆废纸」介绍，OpenAI 对数据和标签质量的重视程度令人发指，对标注人员的选择极为严苛，最后甚至会发放问卷。正是这种执念造就了 GPT 模型的成功，这是 Google 根本比不上的。

而随着上亿用户不断给 OpenAI 提供新的数据，谷歌和 OpenAI 的差距只会越来越大。

Data-centric AI 的理念，奠定了 OpenAI 的成功。

自然语言处理、深度学习话题的优秀答主「张俊林」表示，OpenAI 已经把所有人都甩开了一大截。

包括 Google 在内，其实对于 LLM 发展理念的理解，明显都落后 OpenAI 一个身位。现实是 OpenAI 表现过于优秀，把所有人都甩开了，不仅仅是国内。我觉得，OpenAI 对 LLM 在理念及相关技术方面，领先国外的 Google、DeepMind 大约半年到一年的时间，领先国内大概两年左右的时间。

知乎答主「周道道」表示，谷歌近期的翻车和 OpenAI 以对比，必然给了这些顶尖的研究员巨大的震撼。

另外，据说 OpenAI 相对谷歌也会给研究员更多的资源和更宽泛的要求，毕竟 OpenAI 更像是一个研究机构，而谷歌更像是把 AI 当成产品在研发的部门。

而答主「陈大宝」的回答可谓非常扎心。

未来商业历史会记录两个又经典又嘲讽的案例:

1.柯达发明了数码相机

2.谷歌发明了 transformer

评论区还惊现了利益相关匿名人士。

又一名匿名人士说到点上了。

知友「飞了个猪的」点出来了谷歌作为大公司的「创新者困境」。

又一利益相关匿名人士出现。

知友「周星楠 」总结道，谷歌这样的大公司就是要去人材化，基于 policy，所有大家都是螺丝钉。

而 Insider 为我们总结了一篇长文，盘点了这些年从谷歌人工智能团队流失的顶级人才。

人才都去哪了？

谷歌为人工智能领域贡献了一些很重要的研究。然而，该公司在将创新转化为产品方面一直进展缓慢。

因此，顶级人工智能研究人员纷纷离开，去往那些可以产生更大价值和影响的初创公司，例如 OpenAI，Character.AI，DeepMind，Cohere，Inceptive。

谷歌已经处于防守地位，时时刻刻会失去人工智能领域领先的地位。而顶级研究人员的离开，更是加剧了这一问题。

虽然谷歌可能处于防守模式，但其实它没必要这样的。该公司自己创造了许多基础技术，为 ChatGPT 等产品提供动力。它还将其研究作为开放源码提供，这在某种程度上讽刺了 OpenAI 的迅速崛起。

由于担心该技术会对其业务造成声誉上的损害，谷歌长期以来一直对发布类似于 ChatGPT 的聊天机器人犹豫不决。

谷歌大型语言模型 LaMDA 背后的两位研究人员 Daniel De Freitas 和 Noam Shazeer 离开了公司，他们对公司迟迟不发布类似 ChatGPT 的聊天机器人感到沮丧。

其他前谷歌研究人员也认为，在人工智能如此激动人心的时代，创业公司会为研究人员提供成果的所有权，并且自己会发挥更多价值和影响。

以下是人工智能领域最引人注目的一些论文，这些论文的研究人员已经离开谷歌去了别的公司。

Ilya Sutskever

「用神经网络进行序列到序列学习」发表于 2014 年，这篇序列到序列论文探讨了训练语言模型，将一个领域的单词序列转换为另一个领域的序列。例如，将一个英语句子转换为法语句子。

Ilya Sutskever 领导了这篇论文的研究。他在担任了近三年的研究科学家后于 2015 年离开谷歌。Sutskever 是 OpenAI 的联合创始人，并继续作为其首席科学家在那里工作。

注意力是你所需要的一切

这篇 Transformer 的重磅论文，如今引用量已经突破七万次。Transformer 被认为是自然语言处理方面的一个突破。它通过同时观察句子中的每个词并权衡每个词的重要性来收集上下文的细微差别，从而帮助人工智能理解含义。

而 ChatGPT 中的「T」代表的就是 Transformer，足以见得这篇论文的重要性。

不过，本文的八位作者，除了 Llion Jones，都已经离开了谷歌。

Ashish Vaswani 在五年后离开了谷歌大脑，创办了 Adept 公司，该公司最近筹集了 3.5 亿美元，建立生成性人工智能工具，帮助人们更有效地使用生产力软件。他最近离开了 Adept，去了一家隐秘的创业公司。

Noam Shazeer 现在是 Character.AI 的 CEO。

Niki Parmar 在五年后离开谷歌大脑，担任 Adept 公司的联合创始人和首席技术官，不过和 Vaswani 一样，她最近也离开了，去了一家隐秘的创业公司。

Jakob Uszkoreit 在谷歌工作了 13 年，从事神经网络和深度学习。他现在是 Inceptive 的联合创始人，这是一家利用深度学习来设计新疗法的初创公司。

Aidan Gomez 是 Cohere 公司的联合创始人和首席执行官，该公司已经筹集了大约 1.6 亿美元，帮助开发者将生成性人工智能纳入他们的应用程序和网站。他在谷歌大脑做了一年半的研究员。而他在 Cohere 的联合创始人 Nick Frosst 在谷歌大脑做了四年的研究员。

Lukasz Kaiser 在谷歌大脑工作了 7 年多后离开了谷歌大脑，于 2021 年加入了 OpenAI。Kaiser 最近在 OpenAI 的 GPT-4 白皮书中被引用为其长语境能力的核心贡献者，他让聊天机器人在忘记讨论的语境之前，可以进行更长的对话。

Illia Polosukhin 在谷歌大脑从事了三年的深度学习和自然语言理解工作。他在 2017 年离开，创办了 Pagoda，一个 Web3 创业平台。

建立一个类似人类的开放域聊天机器人

这个论文介绍了谷歌最初的聊天机器人 Meena，探讨了聊天机器人如何通过研究从公共社交媒体对话中搜取的数据来学习谈论话题。它还介绍了谷歌创建的一个来评定聊天机器人说话表现的测试。

这篇论文是大语言建模的另一个重要里程碑，作者认为他们可以在没有硬编码训练的情况下，做出一个大语言模型，对问题产生类似人类的反应。

作者之一 Daniel De Freitas 在谷歌大脑做了五年的研究员后，担任 Character.AI 的联合创始人和总裁。

De Freitas 在 Character.AI 的同事 Romal Thoppilan 对本文也有贡献。

LaMDA:对话应用的语言模型

LaMDA 是对话应用的语言模型的缩写，也是聊天机器人 Bard 的基础。它在 2020 年作为 Meena 首次演示，但谷歌从未向公众发布 Meena。谷歌人工智能研究部门的前雇员解释说因为谷歌担心机器人会发表有害的评论，这会是一场公关的噩梦。

LaMDA 背后的几个主要研究人员已经离开了谷歌大脑。

Daniel De Freitas 和 Noam Shazeer 去年成立了 Character.AI 这家公司，他们最近筹集了大约 2 亿美元来创建以各种角色形式说话的聊天机器人，从马斯克到治疗师到生活教练的各种角色。

Romal Thoppilan 在谷歌大脑工作了 7 年之后，担任 Character.AI 的创始研究员。

Alicia Jin 在接近 2022 年底时加入 Character.AI，担任研究工程师。她曾在谷歌大脑工作了三年。

BERT

BERT建立在自然语言处理的 Transformer 模型上，经过预先训练，可以很好地完成两项任务:掩蔽语言建模和对下一句话的预测。换句话说，BERT 试图预测隐藏的或「被掩盖的」词语，迫使算法努力学习更多关于周围文本的知识，更好地预测隐藏的词语。

如果你输入「你能为别人的药房买药吗」，它将理解「别人」是查询的一个重要部分。

谷歌早在 2019 年就开始将 BERT 纳入搜索引擎之中。这是自 2015 年纳入另一种机器学习算法 RankBrain 以来，搜索准确性方面的最大进步之一。

Jacob Devlin 是这篇论文的主作者，而他在 ChatGPT 推出前不久加入了 OpenAI。

T5

T5 论文的正式名称是「用统一的文本到文本 Transformer 探索转移学习的极限」，它建立在 BERT 的基础上，非常适合于翻译和总结等任务。

领导这篇论文的 Colin Raffel 在 2021 年离开之前，在谷歌大脑担任了大约五年的研究科学家。目前是联合国大学教堂山分校的助理教授，每周花一天时间在 Hugging Face 担任研究员。Hugging Face 最近宣布，它在 2022 年 5 月筹集了 1 亿美元，公司的估值为 20 亿美元。用户可以在 Hugging Face 分享大型语言模型和数据集。

T5 论文的另一位撰稿人 Sharan Narang 在谷歌大脑工作四年后，于 2022 年离开了那里。他现在是 Meta 公司的一名人工智能研究员。

一种用于快速芯片设计的图形放置方法

由谷歌科学家 Azalia Mirhoseini 和 Anna Goldie 领导的论文发现，人工智能可以比人类专家更快地完成芯片的设计过程。

两人领导的另一篇论文《用深度强化学习进行芯片布局》，提供了一种在芯片设计中使用人工智能的方法，以最大限度地提高性能，同时最大限度地减少面积和功率的使用。

这些发现有助于谷歌设计 TPU 芯片，专门用于机器学习任务。

Mirhoseini 和 Goldie 都在 2022 年离开谷歌，加入了 Anthropic，也是 OpenAI 的竞争对手，它们正在开发自己的大型语言模型和一个名为 Claude 的聊天机器人。

DeepMind

Mustafa Suleyman 是 DeepMind 的联合创始人，并担任该公司的首席产品官。这是一家人工智能实验室，于 2014 年被谷歌收购。该实验室开发了 AlphaGo，该机器学习程序在围棋中击败了世界冠军的专业人士。

谷歌的母公司 Alphabet 最近在其第四季度财报中宣布，DeepMind 的财务业绩将从 「其他投资」中独立出来，这标志着人工智能在谷歌未来战略中的重要性。通常情况下，「其他投资」是该公司的新生项目的总称，这些项目尚未达到盈利水平。

Suleyman 一直是确保新人工智能产品安全的积极倡导者。在 DeepMind 工作期间，他成立了一个名为 DeepMind 伦理与社会的研究部门，研究人工智能的现实影响。2019 年，他因被指控欺负员工而被 DeepMind 放假。在调查进行期间，他调回到谷歌担任副总裁一职。

Suleyman 在许多与机器学习有关的研究论文中被引用。2022 年 2 月，他与 LinkedIn 的创建者 Reid Hoffman 共同创建了人工智能初创公司 Inflection。

谷歌最具开创性的人工智能论文的许多主要贡献者已经离开，或是加入了 OpenAI 等竞争对手，或是创办了自己的公司。

当 OpenAI 的 ChatGPT 于 2022 年年底问世时，谷歌首席执行官 Sundar Pichai 在内部宣布了「红色预警」，召集公司做出回应。

当时，Pichai 表示，谷歌将毫无疑问地继续雇用人工智能领域的顶级研究人员。

不过失去了这么多得力干将，谷歌是否还能再造辉煌呢？

参考资料: