可扩展性神话

2021-04-03 03:02:43

许多对象存储公司喜欢折腾术语exabytes并谈论无限可扩展性。但是,当他们制作那些索赔时,它们总是在谈论静态,档案数据。

当您将其放入冷库时,对exabytes和超越的可扩展性并不困难。然而,这不是现代企业想要的。它们希望安全性,可扩展性和性能 - 因为他们希望能够以SPLIPLED等高级工作负载和高级分析平台与该数据相互作用。

我们在数据中看到它。来自新堆栈的2020年下一代基础设施调查的这项民意调查是一个很好的例子:

那么,提供真正可扩展的存储系统所需的是什么?首先,对象存储 - 鉴于每个超级刻度系统都构建在对象存储的顶部,这是一个无脑袋的一点。但是,其他组件是什么?这是我们的采取:

系统可伸缩性:要兑缩放性要求,整个系统需要可扩展。使用Cassandra作为元数据数据库的系统是不线性扩展的示例。由于Cassandra在写入时比读取更好,因此就可扩展性而言,您可以在数据中有限。 Cassandra在删除等大规模行动中也非常糟糕。如果整个系统无法扩展,则您的项目无法提供可扩展性。整个系统需要优雅,无缝,无论是各种工作负载都没有问题 - 从艺术存储和快照到机器学习管道。

可以在多维维度 - 原始,直线性能以及比例下性能进行评估性能。差异很简单(运行对象存储的基准,几个TB的数据可能会产生一些不错的数字),特别是如果将擦除码,法定值一致性,加密和BitroT保护设置为低保护级别(或关闭它们完全)。然而,实际测试正在维持各种访问模式和对象尺寸的多个PBS之间的性能。如果没有可扩展性能,您只能在数据的一小部分上实际运行。 AI / ML中的用例是趋势不仅朝大量的数据,而且还越来越多地看出所谓的“黑暗数据”。黑暗数据持有秘密,但通常被遗忘或存档以出于性能原因(太大)或成本。现代物体商店需要在尺度的连续内提供性能。选择可以执行的对象存储,该存储器可确保组织可以解锁位于该数据中的所有值 - 而不仅仅是一些分数组件。

安全性是压倒性的,受访者对新堆栈调查的最佳答案,但这不应该是任何人的新闻。存储数据包括保护它免受丢失和未经授权的访问。在勒索软件的情况下,这两者在一起,未经授权的访问导致丢失。在不良的不良状态下,安全漏洞是最糟糕的,因为一旦数据暴露,问题化合物就会失去控制。这就是为什么安全必须扩展的原因。安全性不能具有性能开销,可让您一直运行。可扩展的加密还应在飞行中保护数据(TLS证书)和休息(KMS,加密)。访问管理(身份验证和授权)和对象锁定也应该是安全投资组合的一部分。如果您想提供全面保护,他们都应该扩展。连同,这些是大多数物体商店无法递送的巨大要求。出于这个原因,企业妥协并查看可预测的结果。

运营规模:能够在人们的少数(甚至只是几个时区)的少数(甚至只是几个地区)管理大量基础设施的能力是运营规模。有些称为可维护性。我们也喜欢这个术语可维护性。尽管如此,我们依靠总体拥有成本,因为您无法“重视工程师”可维护性。您可以将一个人放在一个多租户,PetaScale,对象存储作为服务实例中,或者您不能。如果上述需要一个六个团队照顾安全,网络,驱动器,CPU,恢复力,SLA,停机,升级等,那么该解决方案不是真正可维护的。基础设施功能需要可管理,透明和简单而不牺牲控制或粒度。 OPEX随着时间的推移比CAPEX高的数量级。扩展的能力是所选软件的函数。简单,强大的软件每次获胜,因为运行可扩展性是一个软件问题,而不是人的问题。

软件定义:虽然设备供应商将积极地争论这一点,但事实上是软件设计的解决方案在正确定义时更好地缩放。通过“正确定义”,我们的意思是他们在任何商品HW,VM或容器以及流行的操作系统分布上运行 - 不仅仅是来自少数大型供应商的几个密切定义的盒子。当软件经常发布并且硬件经常刷新时,它几乎不可能保留此HCL验证。几乎所有的硬件兼容性列表(HCL)都是过时的。是的,AWS控制其堆栈中的硬件,但硬件侧存在巨大变化。我们为他们提供完整的标志,他们如何管理。当您真正的软件定义并且可以在任何地方运行时,硬件确实成为一种商品。在数据周围设计数据生命周期 - 而不是硬件规范。该软件处理媒体之间的异质性,模型 - 即使是品牌。您可以获得最优惠的价格,并利用四分之一井喷。使用ILM使用SSD和HDD和层设计您的系统。使用公共云作为冷库。 Kubernetes是该软件定义比例的驱动程序。软件不应该担心底层基础设施 - 是它公共云或裸机私有云。让Kubernetes摘要基础架构并将您的对象存储作为软件容器。虽然我们之前已经说过了,但它再次提到 - 你不能容于容纳了一个设备。

Minio开创了创建高性能,Kubernetes原生对象存储。它们的开源,软件定义,S3兼容系统针对混合云进行了优化。 Minio支持从单个多租户实例的AI / ML,分析,档案和云应用程序多样化的工作负载。

可扩展性是一个多维问题。它并没有得到它应得的关注,因为很少有供应商希望在他们的特定狭义的成功标准之外讨论它。这对整个行业不好,因为它忽略了真正重要的事情 - 安全,性能和可维护性。我们邀请您考虑更全面的清单,希望它将导致您当前供应商的更好问题和更好的系统设计。