在谷歌大脑的一年（2020年）

我目前是斯坦福的博士学生，用斯蒂芬博士学习优化和机器学习，但2017年至2018年，我是谷歌脑队的软件工程师。我在收到计算机科学硕士学位（也来自斯坦福）的硕士学位后，我开始了三个月，刚刚在夏天上工作了研究项目 - 一种用于凸优化的域特定语言。当时，我的一部分想继续与我的顾问合作，但我的另一部分对谷歌大脑深感好奇。至少看内部的着名人工智能（AI）研究实验室，至少是为了一个有趣的人类学经验。所以，我加入了谷歌。我的任务是在张力流上工作，这是一个深度学习的开源软件库。

大脑是谷歌的名人员工的磁铁。在过去的几年里，谷歌的首席执行官Sundar Pichah（相信AI的“比电力或火灾更加深刻”）强调，谷歌是一个“AI-First”公司，公司试图在几乎所有工作中实施机器学习。在一个下午，在团队的小厨房里，我看到了Pichai，联合创始人谢尔盖德，以及图灵奖获得者David Patterson和John Hennessey。

我没有与这些名人员工合作，但我确实可以使用一些原始的Tensorflow开发人员。当我寻求它并习惯性时，这些开发人员给了我指导，而习惯性地给了我比我所值得的更多的信用。例如，我的同事让我拿出关于Tensorflow 2的学术论文，即使我对技术的贡献比他们的贡献小于他们。放置在我身上的不合理的信任和给我的信用，让我努力工作，而不是我的工作。

谷歌大脑的文化让我想起了我读到了关于Xerox Parc的内容。在20世纪70年代，PARC的研究人员通过开发图形用户界面并产生桌面计算机的最早的化身之一，为个人计算革命铺平了道路。

Parc的文化记录在上下文中，由Parc研究员艾伦凯撰写的一篇文章。凯描述了PARC作为一个高级雇员对经验丰富的地方，作为“刚刚没有获得博士学位的世界级研究人员”（类似于我的同事如何对待我）。凯继续说，PARC的研究人员是自我激励和能力的“艺术家”，独立或在小团队中工作，以迈向类似的愿景。这为有时感觉到“失控”的生产环境：

一个伟大的愿景类似于未来的磁场，使所有小铁粒子艺术家对准“北方”而无需看到它。然后他们向未来做出自己的道路。施乐经常在PARC过程中震惊，并宣布失控，但他们不明白上下文是如此强大而引人注目，艺术家在他们的愿景版本愉快地工作。结果是巨大的突破，其中一些我们今天庆祝。

在大脑，截至Parc，研究人员和工程师具有令人难以置信的自主权。他们有老板，肯定，但他们在选择努力的内容时，他们有很多余地 - 在找到“他们自己的道路上”。 （我说“有”，而不是“有”，因为我不确定大脑的文化是否自从我离开以来。）

我会举一个例子：几年前，谷歌大脑团队的许多人意识到机器学习工具更接近编程语言，而不是图书馆，并重新设计了他们的工具，考虑到这一事实将解锁更高的生产力。管理层没有指挥工程师对此问题的特定解决方案。相反，几个小型球队有机形成，每个小组都以自己的方式接近这个问题。 Tensorflow 2.0，Swift用于Tensorflow，JAX，DEX，切线，签名和MLIR在同一视觉上都有不同的角度。有些人彼此直接紧张，但每个人都得到了改善的是，我们经常存在，并在可能的情况下重新使用彼此的解决方案。这完全可能的是，许多这些工具可能不会成为有希望的实验的东西，但至少有一个将是一个突破性。

我想猜测类似的PARC的上下文，脑在脑中运作的情况是有助于带来纹orflow的创造。 2015年底，谷歌开放的Tensorflow，使其自由地提供给整个世界。 Tensorflow很快变得非常受欢迎。斯坦福和其他大学的教师在他们的课程中使用它（我的朋友芯片Huyen，例如，创建了一个名为Tensorflow的斯坦福课程，用于深入学习研究），世界各地的研究人员使用它来运行实验，公司使用它用于培训和部署现实世界中的模型。如今，Tensorflow是GitHub上的第五个最受欢迎的项目，其中包括通过Star Count测量的数百万个公共软件存储库。

然而，至少对于Tensorflow，Google Brain的超创造性，超高效和“失控”文化是一把双刃剑。在将自己的道路达到共同的未来的过程中，TensoRFlow工程师发布了许多共享类似目的的功能。随后许多这些特征被认为有利于更有前途的。虽然这个过程可能已经选择了良好的功能（如TF.Data和渴望执行），但它令人沮丧和耗尽我们的用户，努力跟上。

大脑以至少一种方式与PARC不同：与PARC不同，该PARC突然未能将其研究商业化，谷歌生产的项目在大脑中孵育。示例包括谷歌翻译，BERT语言模型（通知谷歌搜索），TPU（谷歌租赁到外部客户端的硬件加速器，以及用于各种生产项目的内部使用），以及谷歌云AI（销售Automl作为服务） 。在这个意义上，谷歌的大脑是Larry Page的自然延伸，渴望与想要做“疯狂世界”的人，同时在“一只脚在行业”（随着沃尔特Isaacson采访时说）

离开谷歌大脑的博士很难。我已经习惯了善行，我赞赏该团队对研究的邻近。我最爱的大多数人都喜欢在一个大型的Tensorflow 2.0上工作 - 我对建立更好的工具充满热情，以便更好地思考。但我也喜欢研究提供的创造性表达。

我经常被问到为什么我没有简单地涉及自己在大脑的研究中，而不是在博士计划中注册。这就是：为什么：Zeitgeist除了深度学习和加固学习之外的主题几乎没有空间。实际上，2018年，谷歌将“谷歌研究”重新命名为“谷歌AI”，将Research.Google.com重定向到AI.Google.com。 （重塑地养了一些眉毛。似乎近年来，谷歌研究品牌似乎悄然回来了。）虽然我对机器学习感兴趣，但我并不相信今天的AI在附近的任何地方深刻作为电力或火灾，我希望在更具智力上多样化的环境中培训。

事实上，大多数脑大脑的导师鼓励我报名参加博士计划。只有一名研究人员强烈阻止我追求博士，比较“心理折磨”的经验。我的黑暗警告我没有问过任何后续问题，他并没有详细说明，我们的会议很快就会结束。

这些天，除了机器学习之外，我对凸面优化感兴趣，还有涉及最佳选择的计算数学分支。凸优化有许多现实世界的应用程序 - Spacex使用它到陆地火箭，自驾驾驶汽车用它来跟踪轨迹，金融公司用它来设计投资组合，而且，机器学习工程师用它来训练模型。虽然学习良好，作为一种技术，凸优化仍然是年轻人和利基。我怀疑凸优化有可能成为强大，广泛使用的技术。我有兴趣做工作 - 一点数学和一点计算机科学 - 实现其潜力。我的斯坦福斯蒂芬博士的顾问也许是世界领先的凸优化应用专家，我根本无法在他的指导下进行有用的研究。

自从我离开谷歌并开始我的博士学位以来，这只是一年以来。从那以后，我与我的实验室合作发布了几篇论文，其中包括可以自动学习凸优化问题的结构，弥合凸优化和深度学习之间的差距。我现在是CVXPY的三个核心开发人员之一，一个用于凸优化的开源库，我对我的研究和工程项目进行了完全创造性的控制。

我想念的谷歌大脑有很多事情，我的同事大部分都是。但是，现在，在斯坦福国，我从纯粹的数学家，电气和化学工程师，物理学家，生物学家和计算机科学家的智力和热情的人中合作并从智力多样化的智慧和充满激情的个人中学习。

我不确定我毕业后我会做什么，但现在，我有很多乐趣 - 学习一点数学，写作论文，运输真实软件，并探索几行并行研究。如果我很幸运，其中一个甚至可能是一个突破。