网站开发的层次,扬州网站定制,如何注册一家公司方法步骤,品牌建设是指目 录 1. Kafka的简介1.1 使用场景1.2 基本概念 2. Kafka的安装2.1 下载Kafka的压缩包2.2 解压Kafka的压缩包2.3 启动Kafka服务 1. Kafka的简介
Kafka 是一个分布式、支持分区#xff08;partition#xff09;、多副本#xff08;replica#xff09;、基于 zookeeper 协调… 目 录 1. Kafka的简介1.1 使用场景1.2 基本概念 2. Kafka的安装2.1 下载Kafka的压缩包2.2 解压Kafka的压缩包2.3 启动Kafka服务 1. Kafka的简介
Kafka 是一个分布式、支持分区partition、多副本replica、基于 zookeeper 协调的消息中间件最大的特点是可以实时地处理大量数据以满足各种需求场景。例如基于 Hadoop 的批处理系统、低延迟的实时系统、访问日志、消息服务等。它最初是由 Linkedin 公司用 scala 语言开发出来的并在 2010 年贡献给了 Apache 基金会成为 Apache 的顶级开源项目后面引入了 java 语言的开发。
1.1 使用场景
日志收集可以用 Kafka 将各种服务的 log 进行收集然后通过 Kafka 以统一接口服务的方式开放给各种消费者如 Hadoop、Solr等。消息系统解耦生产者和消费者、缓存消息用户活动跟踪Kafka 常被用来记录 web 用户或者 app 用户的各种活动如浏览网页、搜索、点击等活动这些活动被各个服务生产者发布到 Kafka 的 topic 中订阅者通过订阅这些 topic 来做实时的监控分析或者其它处理。运营指标Kafka 也常用来记录运营监控数据包括收集各种分布式应用的数据生产各种操作的集中反馈如报警和报告。
1.2 基本概念
如下表所示是 Kafka 的一些基本概念。
名称释义Broker消息中间件处理节点一个 Kafka 节点就是一个 Broker 一个或者多个 Broker 可以组成一个 Kafka 集群通俗点理解就是一个 Broker 就是一个 Kafka 服务端多个 Kafka 服务端组成集群TopicKafka 根据 topic 对消息进行归类发布到 Kafka 集群的每条消息都需要指定一个 topicProducer消息生产者向 Broker 发送消息的客户端Consumer消息消费者从 Broker 读取消息的客户端ConsumerGroup每个 Consumer 属于一个特定的 Consumer Group一条消息可以被多个不同的 Consumer Group 消费但是一个 Consumer Group 中只能有一个 Consumer 能够消费该消息Partition物理上的概念一个 topic 可以分为多个 partition 每个 partition 内部消息是有序的
2. Kafka的安装
Kafka 依赖于 zookeeper 和 JDK所以在安装 Kafka 之前需要先安装 JDK。我的电脑以前就安装了 JDK1.8 所以不用再装至于 zookeeper 其实 Kafka 的安装包中已经引入了 zookeeper 的 jar 包所以它也不需要我再去单独装因而我直接安装 Kafka 即可。
2.1 下载Kafka的压缩包
下载地址是https://kafka.apache.org/downloads
我这里选择 Binary downloads 的下载方式版本就来个 Scala 2.11 - kafka_2.11-2.2.1.tgz (asc, sha512) 的如下图所示。 2.2 解压Kafka的压缩包
将下载下来的压缩包解压到 D:\Kafka关于 Kafka 的安装就结束了接下来就是改配置信息。
1、修改 server.properties 配置文件
找到 D:\Kafka\kafka_2.11-2.2.1\config\server.properties 文件修改里面的配置。 将 log.dir 的路径改为自己定义好的保存并退出。
#kafka的消息存储文件自己定义好就行
log.dirD:/Kafka/kafka_2.11-2.2.1/kafka-logs2、修改 zookeeper.properties 配置文件
找到 D:\Kafka\kafka_2.11-2.2.1\config\zookeeper.properties 文件同样修改里面的配置。
将 dataDir 的值改为 D:/Kafka/kafka_2.11-2.2.1/zookeeper如下所示保存并退出。
dataDirD:/Kafka/kafka_2.11-2.2.1/zookeeper2.3 启动Kafka服务
1、启动 zookeeper 服务
由于 Kafka 依赖于 zookeeper 所以要想启动 Kafka 的服务端必须先启动 zookeeper 的服务。
打开 D:\Kafka\kafka_2.11-2.2.1 文件夹在文件夹地址栏 输入 CMD回车打开控制台然后输入下面的命令启动 zookeeper 服务。
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties出现下图所示的结果说明启动成功。 2、 启动 Kafka 服务
继续在 D:\Kafka\kafka_2.11-2.2.1 文件夹的地址栏 输入 CMD回车再打开一个控制台然后输入下面的命令启动 Kafka 服务端。
.\bin\windows\kafka-server-start.bat .\config\server.properties出现下图所示的结果说明启动成功。
