广东广州网点快速网站建设,章丘网站开发,最大的域名注册网站是那个,财务软件哪个最好用最简单文章目录 一、Kafka概述二、实验环境三、实验准备四、实验目的五、实验步骤5.1、创建Kafka Topic5.2、Kafka消息发布5.3、Kafka消息订阅 六、实验感悟 一、Kafka概述
Kafka是由Apache软件基金会开发的一个开源流处理平台#xff0c;由Scala和Java编写。该项目的目标是为处理实… 文章目录 一、Kafka概述二、实验环境三、实验准备四、实验目的五、实验步骤5.1、创建Kafka Topic5.2、Kafka消息发布5.3、Kafka消息订阅 六、实验感悟 一、Kafka概述
Kafka是由Apache软件基金会开发的一个开源流处理平台由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”[4]这使它作为企业级基础设施来处理流式数据非常有价值。此外Kafka可以通过Kafka Connect连接到外部系统用于数据输入/输出并提供了Kafka Streams——一个Java流式处理库。 大白话就是kafka其实消息队列得一种。
二、实验环境
基于星环云课堂TranswarpVD
三、实验准备
查看Zookeeper和Kafka集群的服务地址 打开Transwarp Manager查看Zookeeper集群和kafka的服务地址如下所示 zookeeper地址 172.18.48.5:2181 172.18.48.6:2181 172.18.48.7:2181 kafka地址**也就是Broker地址** 172.18.48.5:9092 172.18.48.6:9092 172.18.48.7:9092 172.18.48.8:9092
后续的命令替换 {Broker_List} 172.18.48.5:9092,172.18.48.6:9092,172.18.48.7:9092172.18.48.8:9092 {Zookeeper_List} 172.18.48.5:2181,172.18.48.6:2181172.18.48.7:2181 {topic _name} kafka_topic_zhanghaodong 四、实验目的
• 掌握Kafka的基本使用。‘ • 了解Kafka消息的发布\订阅机制。
五、实验步骤
5.1、创建Kafka Topic
• 任务利用TDH Client集成的Kafka客户端创建名为{topic_name}的Kafka Topic命名规范为kafka_topic_账号如账号student1则创建Topic为kafka_topic_student1。 • 步骤 Linux cd /transwarp/Desktop/TDH-Client/kafka/bin // 进入TDH Client集成的Kafka客户端目录 ./kafka-topics.sh --bootstrap-server {Broker_List} --create --topic {topic_ name} --partitions 1 --replication-factor 1 --command-config /transwarp/Desktop/TDH-Client/kafka/config/consumer.properties // 创建Topic ./kafka-topics.sh --zookeeper {Zookeeper_List} --list // 列出所有Topic查看Topic是否创建成功
5.2、Kafka消息发布
• 任务在当前命令行窗口中创建Kafka Console Producer它负责在控制台向Kafka Topic发布消息。 • 步骤 Linux
./kafka-console-producer.sh --topic {topic _name} --broker-list {Broker_List} --producer.config /transwarp/Desktop/TDH-Client/kafka/config/producer.properties // 创建Console Console Producer
5.3、Kafka消息订阅
• 任务新建一个命令行窗口创建Kafka Console Consumer它负责在控制台接收Kafka Topic的消息。 • 说明在Producer窗口中输入消息并回车消息发送到Kafka TopicConsumer窗口可实时接收到消息。 • 步骤 Linux
执行TDH Client的init.sh脚本启动TDH Client source /transwarp/Desktop/TDH-Client/init.sh 创建Kafka Console Consumer cd /transwarp/Desktop/TDH-Client/kafka/bin ./kafka-console-consumer.sh --topic {topic_ name} --from-beginning --bootstrap-server {Broker_List} --consumer.config /transwarp/Desktop/TDH-Client/kafka/config/consumer.properties 在控制台生产者窗口中输入以下数据 Hello World Hello Kafka返回控制台消费者窗口可以看到消息已接收到
六、实验感悟
学习消息队列kafka原理得时候其实蛮痛苦得因为很复杂。但是实际开发中用起来是很方便的这个实验就是这样的。
