网站建设常见问题解决方案,商城网站建设4262,公司网页制作,wordpress 注释问题这里写木目录标题 一、Topic 数据的存储机制1.1、Topic 数据的存储机制的概述1.2、Topic 数据的存储机制的图解1.3、Topic 数据的存储机制的文件解释 二、Topic数据的存储位置示例 一、Topic 数据的存储机制
1.1、Topic 数据的存储机制的概述
Topic是逻辑上的概念#xff0c… 这里写木目录标题 一、Topic 数据的存储机制1.1、Topic 数据的存储机制的概述1.2、Topic 数据的存储机制的图解1.3、Topic 数据的存储机制的文件解释 二、Topic数据的存储位置示例 一、Topic 数据的存储机制
1.1、Topic 数据的存储机制的概述
Topic是逻辑上的概念而partition是物理上的概念。每个partition对应于一个log文件该log文件中存储的就是Producer生产的数据。Producer生产的数据会被不断追加到该log文件末端为防止log文件过大导致数据定位效率低下Kafka采取了 分片和 索引机制。将每个partition分为多个segment。每个segment包括“.index”文件、“.log”文件和.timeindex等文件。这些文件位于一个文件夹下该文件夹的命名规则为topic名称分区序号例如news-0。
1.2、Topic 数据的存储机制的图解 1.3、Topic 数据的存储机制的文件解释 Topic 数据的存储机制的文件解释 文件格式解释.log日志文件.index偏移量索引文件.timeindex时间戳索引文件其他文件
二、Topic数据的存储位置示例 启动生产者并发送消息。 bin/kafka-console-producer.sh --bootstrap-server 192.168.136.27:9092 --topic threetopic查看四台服务器的/opt/module/kafka/datas/threetopic-0threetopic-1、threetopic-2、threetopic-3路径上的文件。 通过工具查看 index和 log信息。 kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log
