#haystack
Microsoft Open-Sources Haystack - An Indexing Subsystem for Apache Spark(cloudblogs.microsoft.com)
2020-7-18 2:6
对于微软的内部团队和外部客户，我们在我们的数据湖中存储了从几GB到100PB的数据集。对这些数据集的分析范围从传统的批式查询(例如，OLAP)到探索性的“大海捞针”类型的查询(例如，点查找、汇总)。
对于每个简单的查询，对这些具有巨大集群的大型数据集进行线性扫描的成本高得令人望而却步，对于我们的许多客户来说，这并不是......