Databricks推出SQL Analytics

2020-11-13 00:17:22

在很多方面,SQL Analytics是数据库公司长期以来一直想要打造的产品,这让它的“湖边小屋”的概念变得鲜活起来。它结合了数据仓库和数据湖的性能,前者是在数据转换和清理之后存储数据,后者是以原始形式存储所有数据。数据湖中的数据是Databrick的联合创始人兼首席执行官阿里·戈德西长期倡导的一个概念,通常只有在使用时才会发生变化。这让数据湖变得更便宜,但也让用户更难处理。

“我们一直在说统一数据分析,也就是把数据和分析统一起来。因此,数据处理和分析,这两个应该合并。但没人注意到这一点。“Ghodsi告诉我。但“湖边小屋”(Lake House)作为一个术语开始流行起来。

他说:“数据库公司一直提供数据科学、机器学习等服务。这件事我们已经谈了很多年了。有了Spark,我们提供了数据处理能力。您可以执行[提取、转换、加载]。这一直都是可能的。通过SQL Analytics,您现在可以直接在数据湖上执行数据仓库工作负载,具体地说,就是商业智能和报告工作负载。

这里的总体思路是,只需一个数据副本,您就可以同时支持传统的数据分析用例(想想BI)和数据科学工作负载(想想AI)。理想情况下,这会使这两种用例更便宜、更简单。

这项服务建立在Databricks开源的Delta Lake存储层的优化版本之上,使该服务能够快速完成查询。此外,Delta Lake还提供自动伸缩端点,即使在高负载下也能保持查询延迟一致。

虽然数据分析师可以使用标准SQL直接查询这些数据集,但该公司还构建了一组到BI工具的连接器。它的BI合作伙伴包括Tableau、Qlik、Looker和Thoughtpot,以及Fivetran、Fishtown Analytics、Talend和Matillion等摄取合作伙伴。

Tableau的首席产品官Francois Ajenstat说:“现在,组织比以往任何时候都更需要一种数据策略,使速度和敏捷性具有适应性。”“随着企业迅速将数据转移到云端,我们看到对数据湖进行分析的兴趣与日俱增。SQL Analytics的推出为客户提供了一种全新的体验,使他们能够从海量数据中获得所需的性能、可靠性和规模。“。

在一个演示中,Ghodsi向我展示了新的SQL Analytics工作区是什么样子的。它本质上是Databricks用户熟悉的标准代码繁重体验的精简版本。不出所料,SQL Analytics提供了更图形化的体验,更注重可视化,而不是Python代码。

虽然Databricks平台上已经有了一些数据分析师,但这显然为该公司打开了一个巨大的新市场--这肯定会支持该公司明年的首次公开募股(IPO)计划。