为什么Spotify爱被锁定到谷歌云中

2021-05-07 10:01:40

计算出企业中的Spotify,非常乐意被捆绑到一个云提供商。

可以说是谷歌云' Spotify在五年前开始迁移到谷歌的迁移到谷歌和#39;云计算的长期承诺是一个问题。从那时起,音乐和播客服务在Google' S基础设施上翻了一番,围绕高级服务建立,以便提供便利性和易于使用的便利性。

与Spotify的技术和平台副总裁兼泰森歌手一样精美,他监督了提供Spotify' 3.56亿月活跃用户的技术基础设施。 Spotify的2,000多个开发人员和技术专业人员也有一个称为Backstage的秘密武器,内部开发的管理控制台,允许开发人员通过一致的用户界面使用Spotify' s arsenal中的数十个工具。后台通过云本机计算基础作为开源项目可用。

在最近的协议采访中,歌手讨论了该公司的决定与谷歌云,使用托管服务的利弊以及为什么" ml ovs&#34决定。是他雷达上的下一个大事。

几年前,Spotify对谷歌云进行了很大的迁移。事情在哪里待在此时?

我们都在GCP上。这是一项非常有意的方法,我们花了一些年前,让自己摆脱商品[基础设施管理]工作,以及从我们组织中夺取的所有关注,专注于更高级别的事情。我们这样做,我想,比你看到的很多公司不同的一点点。

因此,如果您要将我们与Netflix进行比较,我们所做的就是我们全部进入一个供应商,但我们也全都进入了这些高级托管服务。这是一种方法,即我们想要花更多时间专注于我们的业务,基础设施的时间越来越多的方法。这对于领导基础设施组织来说的人来说,这是一个有趣的事情,但是它'我真正相信的东西。

另一个司机真的只是速度。它'围绕速度定向的组织。在我的组织中,我们的口头禅是我们'重新启用速度,规模,并为基本上为每个Spotifier和我们所有产品而安全地进行。

我们对每个人都在看云供应商时所做的通常是努力。但是谷歌真正出去的是一些东西。

一个,他们在数据方面领先。我们根据我们摄取的数据量意识到,我们需要一个可以处理复杂性和规模和数据的合作伙伴,并让我们超越我们所拥有的范围。我们当时拥有最大的Hadoop集群在欧洲运行,但我们的组织仍然受到限制。

然后,我们需要一个在文化上与我们合适的合作伙伴,我们觉得我们可能会对当时的一些其他可能影响相比。谷歌肯定会达到这些标准,因为他们是新的进入者,他们有很多同样的文化方面,我们在我们的工程团队中进行了自主和独立,只是真正关注工程卓越。

它'很有趣,因为我听到了,即使是谷歌的人,那就是他们挣扎着的东西,正试图与他们的客户同情,试图了解并非每位客户都需要一个谷歌级别探讨他们所做的事情。但它几乎对你来说听起来像是一个吸引力的东西。

它是,它不是#39; t。在任何良好的伙伴关系中,我们确实有冲突。他们一直在学习旅程中如何为客户提供同理心,以及他们的具体要求可能不是谷歌方式,并了解有这些其他可能不同的令人惊叹的工程组织,可以不同,那些有意义的。

所以这是一个很好的旅程。由于我们对他们的账户非常大,因此我们也能够帮助他们继续这一旅程。

我想回到托管服务问题,我认为真的很有趣。我一个月前从目标采访了Mike Mcnamara,他是完全相反的:我不想要任何托管服务,我想奔跑自己,我们明白我们必须投资于人和技能以便做那,但我们希望这种灵活性。

你能谈谈你的哲学吗?围绕托管服务的优缺点,真正让谷歌在床上睡觉了很长时间?

最近有变化的故事的一部分。回到几件事之前,我之前说过,这是我们首先,首先是优化速度。其次,我们'重新约束我们的数据生态系统。

所以当你看一下像BigQuery这样的产品时,以及那样的可伸缩性以及它的可扩展性 - 以及建立自己的复杂性 - 那里有一个巨大的上诉。

我们实际上跟踪了公司对公司的使用,相对于我们之前的背景,以及员工的数量 - 特别是技术 - 娴熟的员工,那些没有数据技能 - 我们刚看到这种疯狂的指数曲线的采用类型的技术。所以那样的,"好吧,是的,我们,我们和#39;重新提取商业洞察力,"这是当时对我们最重要的。

但是,正如我们采用更多这些托管服务,那么效率的问题开始进来。从客户的角度来看,我照顾的 - 其他发现者 - 我们希望他们拥有那种抽象级别,所以他们不会'不得不陷入理解基础设施的核心细节,真的被抽象出来;我们正在进行并在我们自己的托管服务中进行分层,以便我们可以在那里获得更好的效率级别,基本上是单位成本。

那么我'嗯,你'重新建立自己的Spotify托管服务,让' s说,vanilla gcp?而不是使用一些Google托管服务?

是的,以非常有针对性的方式。我们'重新在董事会上做到这一点。我们'再这样做,我们认为它真的对我们整体预算的有效性产生了影响并花费。

你能谈谈一些有针对性的地区吗?

数据处理是我们' ve看看的那些区域之一,并正在进行[建设]。我们与谷歌对此非常透明的&#39。还有一些其他服务,我不想公开分享我们和#39;再练习。但是[数据处理是]那个'可能是最可见的,因为我们' re也在开源竞技场中做到这一点。

我们' ve也完成了其中一件事[是]从完全优化的速度来说,现在我们可能在组织中有一点额外的脂肪,我们需要修剪我们如何花费云端。它是一个真正改变工程文化和心态的旅程,这些旅程专注于围绕性能和可扩展性,可靠性,可观察性的大量重要事物;所有那些工程师喜欢工作的事情,但他们不受成本的成本。

所以我们利用了一个' ve花了很多时间和我们的工程师的爱情和崇拜 - 我们的开发门户名为Backstage的工具 - 将插件添加到该生态系统中。它是一种成本识别的插件,使我们能够在我们的云演变中迈出一步,因此越来越多的工程师可以了解他们的工程决策对公司底线的影响,这是对他们有意义的对策。

后台看起来它可以支持一个多罩环境。你建造它时有这件事吗?

我们真的希望Backstage成功,因为它与我们公司如何运作的那么积分。它的单一窗格是开发人员,数据科学家,有时甚至设计师看起来他们的工作:建立软件,来管理软件,创建他们的软件[和]找到新软件。它并不代#39;如果它和#39; s数据,如新的数据流水线,新的后端服务或移动设备上的新功能,新的机器学习功能;它在此背景下的所有内部'

因为这是我们如何发展的核心,我们希望与世界分享。我们希望它赢得那里的开发人员。因此,它必须工作超过GCP,它必须在AWS上工作,它必须在[Microsoft] Azure上工作。

但在Spotify方面,你似乎真的热衷于自己设置多罩?

不,不是超级敏锐。有一个云的简单性,并且节省了很多麻烦和复杂性。

您最兴奋的新兴的企业技术,或者您认为哪些能够对Spotify产生最大的影响?

我们在Where的领域之一,虽然一直在投资[机器学习] OPS或ML基础设施,并在那里拼接我们解决方案的所有不同部分。我看到更多公司进入这个区域,我仍然认为不是整体市场的良好区域。它与云提供商没有良好的云提供商,' t' t真正缝合在一起的东西,这是一个支持这类完整生命周期的东西。所以我认为我们很接近它缝合在一起。但我看到了很多活动,而且它实际上非常令人兴奋。

一般来说,挑战正在从模型的训练到运行时生态系统,并确保您可以做出我们'重新在所有其他学科中的所有标准软件开发实践;能够做CI / CD类型的活动,并在您的实验上迭代您在那些生态系统中进行的实验。

通过我们的基础架构,有一个常见的模型。然后我们通过我们的实验平台运行,看看,"这实际上是移动度量吗?"能够组织所有这些,并保持这种情况和持续的东西,以及[帮助]' ve加入Spotify的人真正关注目前陷入困境的惊人的ML研究,就是我所看到的ML OPS的所有不同方面。