简介

  • kafka相关的理论基础知识

维基百科 Kafka是什么

  • Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，[4]这使它作为企业级基础设施来处理流式数据非常有价值。此外，Kafka可以通过Kafka Connect连接到外部系统（用于数据输入/输出），并提供了Kafka Streams——一个Java流式处理库。

  • Kafka的历史
    • Kafka最初是由领英开发，并随后于2011年初开源，并于2012年10月23日由Apache Incubator孵化出站。2014年11月，几个曾在领英为Kafka工作的工程师，创建了名为Confluent的新公司，[6]，并着眼于Kafka。根据2014年Quora的帖子，Jay Kreps似乎已经将它以作家弗朗茨·卡夫卡命名。Kreps选择将该系统以一个作家命名是因为，它是“一个用于优化写作的系统”，而且他很喜欢卡夫卡的作品
  • Kafka的架构
    • Kafka存储的消息来自任意多被称为“生产者”（Producer）的进程。数据从而可以被分配到不同的“分区”（Partition）、不同的“Topic”下。在一个分区内，这些消息被索引并连同时间戳存储在一起。其它被称为“消费者”（Consumer）的进程可以从分区查询消息。Kafka运行在一个由一台或多台服务器组成的集群上，并且分区可以跨集群结点分布。
    • Kafka高效地处理实时流式数据，可以实现与Storm、HBase和Spark的集成。作为聚类部署到多台服务器上，Kafka处理它所有的发布和订阅消息系统使用了四个API，即生产者API、消费者API、Stream API和Connector API。它能够传递大规模流式消息，自带容错功能，已经取代了一些传统消息系统，如JMS、AMQP等。
    • Kafka架构的主要术语包括Topic、Record和Broker。Topic由Record组成，Record持有不同的信息，而Broker则负责复制消息。Kafka有四个主要API：
      • 生产者API：支持应用程序发布Record流。
      • 消费者API：支持应用程序订阅Topic和处理Record流
      • Stream API：将输入流转换为输出流，并产生结果。
      • Connector API：执行可重用的生产者和消费者API，可将Topic链接到现有应用程序。
    • 相关术语
      • Topic 用来对消息进行分类，每个进入到Kafka的信息都会被放到一个Topic下
      • Broker 用来实现数据存储的主机服务器
      • Partition 每个Topic中的消息会被分为若干个Partition，以提高消息的处理效率
      • Producer 消息的生产者
      • Consumer 消息的消费者
      • Consumer Group 消息的消费群组
  • Kafka的性能
    • 由于其广泛集成到企业级基础设施中，监测Kafka在规模运行中的性能成为一个日益重要的问题。监测端到端性能，要求跟踪所有指标，包括Broker、消费者和生产者。除此之外还要监测ZooKeeper，Kafka用它来协调各个消费者。[8][9]目前有一些监测平台可以追踪Kafka的性能，有开源的，如领英的Burrow；也有付费的，如Datadog。除了这些平台之外，收集Kafka的数据也可以使用工具来进行，这些工具一般需要Java，包括JConsole

C++ librdkafka库是什么

C++库librdkafka是一个用于Apache Kafka的客户端库。它提供了与Kafka集群通信的功能，允许你在C++应用程序中生产和消费消息。librdkafka是一个高性能的、轻量级的库，具有很好的可扩展性，因此在许多C++应用程序中被广泛使用。它提供了丰富的特性和配置选项，使得开发者能够灵活地与Kafka进行交互，例如消息的分区、压缩、认证等。

C++ librdkafka库 详解

librdkafka 是一个 C/C++ 客户端库，用于与 Apache Kafka 通信。它提供了高性能的生产者和消费者功能，允许你在 C++ 应用程序中轻松地发送和接收消息到 Kafka 集群。

以下是 librdkafka 的一些关键特性和详解：

  1. 高性能：librdkafka 是一个高性能的库，它通过最大限度地减少与 Kafka 集群的网络通信以及有效地使用系统资源来提高性能。

  2. 异步和批处理：librdkafka 支持异步发送和接收消息的方式，它能够批量发送和接收消息，从而提高吞吐量并减少延迟。

  3. 生产者和消费者：librdkafka 提供了生产者和消费者的功能，允许你从应用程序中发送消息到 Kafka 主题，并从 Kafka 主题中接收消息。

  4. 消息分区和复制：librdkafka 允许你指定消息的分区方式，以及处理消息的复制和故障转移。

  5. 灵活的配置：librdkafka 提供了丰富的配置选项，允许你根据应用程序的需要对其行为进行微调，包括消息的序列化和压缩方式、日志记录级别、连接超时等。

  6. 消息传递语义：librdkafka 支持不同的消息传递语义，包括最少一次传递、最多一次传递和恰好一次传递，以满足不同应用程序的需求。

  7. 跨平台支持：librdkafka 支持多种操作系统，包括 Linux、Windows 和 macOS，以及多种编译器和架构。

总的来说，librdkafka 是一个功能强大、高性能的 C++ 客户端库，为开发者提供了与 Kafka 集群进行可靠通信的工具，使得构建分布式消息系统变得更加容易。