HStreamDB - 开源流式数据库

2021-04-10 03:25:49

如今,数据不断地从各种来源生成,例如,来自IOT的传感器数据,Internet上的用户单击事件等。我们希望建立快速响应这些传入流数据的低延迟应用程序,以提供更好的用户体验,实时数据洞察和及时的业务决策。

但是,目前,建立这些流处理应用并不容易。要构建基本流处理架构,我们始终需要组合多个独立组件。例如,您至少需要用于不同查询的流数据捕获子系统,消息/事件存储组件,流处理引擎和多个导出数据系统。

这些都不应该是如此复杂,哪个是hstreamdb发挥的地方。正如您可以轻松地基于传统数据库构建一个简单的CRUD应用程序,并且使用HSTREAMDB,您可以轻松构建基本流应用程序而无需任何其他依赖项。

通过订阅HSTREMDB中的流,数据流的任何更新将实时被推到您的应用程序,这会促使您的应用更响应。

您还可以使用HSTREAMDB替换消息代理,并使用HSTREAMDB更好地完成消息代理商。

HStreamDB提供基于事件时间的流处理的内置支持。您可以使用熟悉的SQL来执行基本过滤和转换操作,从基于基本过滤和转换操作,统计和聚合基于多种时间窗口,甚至在多个流之间加入。

使用连接器,您可以轻松地将HSTREAMDB与其他外部系统集成,例如MQTT Broker,MySQL,Redis,Elasticsearch ......将添加更多连接器。

通过逐步维护物化视图,HSTREAMDB使您可以获得快速响应您业务的曲线上的前方数据。 通过优化的存储设计,HSTREMDB不仅可以提供可靠且持久的存储,但尽管大量数据写入它,但也可以保证出色的性能。 使用与存储器分隔计算的架构,HSTREAMDB的计算和存储层都可以独立地缩放。 并利用基于优化PaxoS的共识算法,数据被安全地复制到多个节点,这确保了我们系统的高可用性。 HSTREMDB是100%开源和社区驱动的。 所有组件都在GitHub上的BSD(3-Clase)许可下提供 星星