#kafka

2021-6-18 1:7
#clone克隆存储库git clone \ https://github.com/round-robin-books/gente-kafka.git #start Kafka Docker-Compose Up
Kafka without ZooKeeper(www.confluent.io)
2021-4-1 19:35
在ApacheKafka®的核心侧坐在日志 - 一个简单的数据结构,它使用顺序操作与底层硬件合作。高效的磁盘缓冲和CPU高速缓存使用,预取,零复制数据传输以及许多其他益处从以日志为中心的设计出现,导致它所以的高效率和吞吐量。对于那些新的Kafka,主题 - 以及其作为提交日志的底层实施 - 通常是他们了解的第一件事。......
2021-2-24 21:27
这篇博客文章代表了几个月的工作和超过400个小时的实际基准测试,我们将Redpanda和最新的2.7 Kafka版本进行了比较。我们使用了Confluent在CNCF开放式消息传递基准测试中的推荐的生产设置和环境。 在开始之前,完整的实际结果以及完整的工作负载分布,饱和度,延迟和吞吐量位于此交互式博客文章的底部。 ......
Kafka Is Not a Database(materialize.com)
2020-12-9 19:45
这篇文章是由Fivetran首席执行官George Fraser和Materialize首席执行官Arjun Narayan共同撰写的。此博客文章交叉发布在Fivetran博客上。 Apache Kafka是一个消息代理,在过去几年中迅速普及。消息经纪人已经存在了很长时间。它们是一种数据存储,专门用于在生产者和使......
2020-11-21 19:40
一段时间以来,社区中的许多人一直在要求我们开发新的Kafka至S3连接器。因此,我们很高兴地宣布它现已可用。 与现有的S3连接器相比,它具有许多优势: 与我们的其他Stream Reactors一样,该连接器扩展了标准的connect配置,并为SQL命令(Lenses Kafka Connect查询语言或“ KCQL......
2020-11-16 19:31
Curl-s https://4ea388d7df71a589f4325f7f344f9a65b6b70f56c51c3acf:@packagecloud.io/install/repositories/vectorizedio/v/script.rpm.sh|sudo bash;&;sudo yum安装red......
2020-11-10 3:13
阿帕奇·卡夫卡是一个美丽的系统。它具有良好的可扩展性、稳定性和惊人的系统架构灵活性。在运行了5年的生产Kafka集群后,我收集了一系列提示和陷阱。如果你在一个将卡夫卡投入生产的小团队中工作,这些可能会被证明是有用的。这篇文章假设你熟悉卡夫卡的基本概念,如经纪人、主题、生产者和消费者。更重要的是,以下几点对于卡夫卡2.......
2020-10-31 9:55
超标量CPU具有宽GB/s内存,NVMe访问时间在10-100微秒量级,这就需要为低延迟存储系统进行新的缓冲区管理。 正如我之前观察到的,软件不是基于类别理论运行的,它运行在超标量CPU上,具有宽的多通道Gb/s存储单元和10-100微秒量级的NVMe固态硬盘访问时间。十年前在不同的硬件平台上编写的一些软件感觉很慢的......
2020-10-31 4:36
在Segment,我们每天处理数百亿个事件。虽然这从业务角度来看是积极的,但也意味着我们的云提供商的账单需要持续监控和管理。作为一项基础设施密集型SaaS业务,成本很容易失控,因此我们必须非常小心云成本对毛利率的影响。 在过去的几个月里,在线活动的增加意味着流量的大幅增加。连锁反应是,我们开始注意到我们的网络传输成本......
2020-10-28 7:16
任何运行Apache Kafka数据基础设施并运行在Kubernetes上的人,都有可能以这种方式定义您的基础设施。 如果您在Kubernetes上运行,您可能会使用操作符作为CI/CD工具链的一部分来自动化部署。 采用GitOps是自然发展,因此您的环境的状态在Git(或任何代码库)中进行管理,自动化系统确保部署的......
Kafka in Pieces(thebaffler.com)
2020-10-12 21:46
弗朗茨·卡夫卡的第三部也是最后一部小说“城堡”未完成的草稿中途结束。但当手稿最初进入世界时,正文已经编辑完成。卡夫卡的朋友和文学执行人马克斯·布罗德(Max Brod)准备了1926年的原版,后来他反思说,他的“目的是以通俗易懂的形式呈现一部尚未完全完成的非常规、令人不安的作品:因此,我们尽一切努力避免任何可能强调其......
2020-10-7 17:31
扩展后端基础设施以应对高速增长是DoorDash工作的众多令人兴奋的挑战之一。2019年年中,我们面临着重大的扩展挑战和频繁的停机,涉及芹菜和RabbitMQ,这两项技术支持系统处理异步工作,启用我们平台的关键功能,包括订单结账和Dasher分配。 我们用一个简单的、基于Apache Kafka的异步任务处理系统快速......
2020-9-22 23:51
从数据库获取数据到Apache Kafka肯定是Kafka Connect最流行的用例之一。Kafka Connect提供了可扩展且可靠的方式将数据移入和移出Kafka。因为它将插件用于连接器的特定插件,并且它只通过配置运行(不需要编写代码),所以它是一个简单的集成点。 我们可以使用以下docker-compose文......
2020-5-17 4:9
为了帮助其他工程师理解Apache Kafka和事件流,我在Confluent博客上写了一个关于Kafka核心基础的4部分系列文章。在本系列中,我们将探索Kafka的存储层和处理层以及它们之间的相互关系,以Kafka Streams和ksqlDB为特色。 在第一部分中,我首先概述事件、流、表和流表对偶性,以便做好准备......
2020-5-11 1:55
高可用性、弹性和可扩展性已经成为构建面向用户的应用程序的标准。云计算一直是促成这一点的一个因素。 以前,拥有多个数据中心是一项主要的前期资本投资-无论是在技术方面还是在硬件方面。今天,多亏了云计算,制定灾难恢复计划需要的工作量更少,而且不需要前期投资。因此,许多面向消费者的应用程序现在都是以地理上分散的方式设置的。在......