网站做自己的超链接,杭州seo泽成,wordpress标签多重筛选,阿里云 建网站攻略mq进阶 RabbitMQ 怎么避免消息丢失#xff1f;
把消息持久化磁盘#xff0c;保证服务器重启消息不丢失。
每个集群中至少有一个物理磁盘#xff0c;保证消息落入磁盘。#RabbitMQ 的消息是怎么发送的#xff1f;
首先客户端必须连接到 RabbitMQ 服务器才能发布和消费消息
把消息持久化磁盘保证服务器重启消息不丢失。
每个集群中至少有一个物理磁盘保证消息落入磁盘。
#RabbitMQ 的消息是怎么发送的
首先客户端必须连接到 RabbitMQ 服务器才能发布和消费消息客户端和 rabbit server 之间会创建一个 tcp 连接一旦 tcp 打开并通过了认证认证就是你发送给 rabbit 服务器的用户名和密码你的客户端和 RabbitMQ 就创建了一条 amqp 信道channel信道是创建在“真实” tcp 上的虚拟连接amqp 命令都是通过信道发送出去的每个信道都会有一个唯一的 id不论是发布消息订阅队列都是通过这个信道完成的。#RabbitMQ 集群中唯一一个磁盘节点崩溃了会发生什么情况
如果唯一磁盘的磁盘节点崩溃了不能进行以下操作
不能创建队列
不能创建交换器
不能创建绑定
不能添加用户
不能更改权限
不能添加和删除集群节点
唯一磁盘节点崩溃了集群是可以保持运行的但你不能更改任何东西。 要保证消息持久化成功的条件有哪些
声明队列必须设置持久化 durable 设置为 true.
消息推送投递模式必须设置持久化deliveryMode 设置为 2持久。
消息已经到达持久化交换器。
消息已经到达持久化队列。
以上四个条件都满足才能保证消息持久化成功。
#RabbitMQ 持久化有什么缺点
持久化的缺地就是降低了服务器的吞吐量因为使用的是磁盘而非内存存储从而降低了吞吐量。可尽量使用 ssd 硬盘来缓解吞吐量的问题。 RabbitMQ 节点的类型有哪些
磁盘节点消息会存储到磁盘。
内存节点消息都存储在内存中重启服务器消息丢失性能高于磁盘类型。
RabbitMQ 集群搭建需要注意哪些问题
各节点之间使用“–link”连接此属性不能忽略。
各节点使用的 erlang cookie 值必须相同此值相当于“秘钥”的功能用于各节点的认证。
整个集群中必须包含一个磁盘节点。
RabbitMQ 每个节点是其他节点的完整拷贝吗为什么
不是原因有以下两个
存储空间的考虑如果每个节点都拥有所有队列的完全拷贝这样新增节点不但没有新增存储空间反而增加了更多的冗余数据
性能的考虑如果每条消息都需要完整拷贝到每一个集群节点那新增节点并没有提升处理消息的能力最多是保持和单节点相同的性能甚至是更糟。 RabbitMQ 对集群节点停止顺序有要求吗
RabbitMQ 对集群的停止的顺序是有要求的应该先关闭内存节点最后再关闭磁盘节点。如果顺序恰好相反的话可能会造成消息的丢失。
RabbitMQ如何处理消息丢失 (重点)
首先明确一点 一条消息的传送流程生产者-MQ-消费者
所以有三个地方都会丢失数据
生产者发送给MQ的途中出现网络问题 MQ自己没保管好弄丢了 消费者拿到数据后出错了没有最终完成任务 依次分析
1生产者弄丢了数据
生产者将数据发送到rabbitmq的时候可能因为网络问题导致数据就在半路给搞丢了。
发送回执确认推荐 可以开启confirm模式在生产者那里设置开启confirm模式之后你每次写的消息都会分配一个唯一的id然后如果写入了rabbitmq中rabbitmq会给你回传一个ack消息告诉你说这个消息ok了。如果rabbitmq没能处理这个消息会回调你一个nack接口告诉你这个消息接收失败你可以重试。而且你可以结合这个机制自己在内存里维护每个消息id的状态如果超过一定时间还没接收到这个消息的回调那么你可以重发。 事务机制和cnofirm机制最大的不同在于事务机制是同步的你提交一个事务之后会阻塞在那儿但是confirm机制是异步的你发送个消息之后就可以发送下一个消息然后那个消息rabbitmq接收了之后会异步回调你一个接口通知你这个消息接收到了。
所以一般在生产者这块避免数据丢失都是用confirm机制的。
2RabbitMQ弄丢了数据-开启RabbitMQ的数据持久化 设置持久化有两个步骤第一个是创建queue的时候将其设置为持久化的这样就可以保证rabbitmq持久化queue的元数据但是不会持久化queue里的数据第二个是发送消息的时候将消息的deliveryMode设置为2就是将消息设置为持久化的此时rabbitmq就会将消息持久化到磁盘上去。必须要同时设置这两个持久化才行rabbitmq哪怕是挂了再次重启也会从磁盘上重启恢复queue恢复这个queue里的数据。 3消费端弄丢了数据
主要是因为你消费的时候刚消费到还没处理结果进程挂了比如重启了那么就尴尬了RabbitMQ认为你都消费了这数据就丢了。或者消费者拿到数据之后挂了这时候需要MQ重新指派另一个消费者去执行任务一块肉刚用筷子夹起来发地震抖了一下肉掉了
这个时候得用RabbitMQ提供的ack机制也是一种处理完成发送回执确认的机制。如果MQ等待一段时间后你没有发送过来处理完成 那么RabbitMQ就认为你还没处理完这个时候RabbitMQ会把这个消费分配给别的consumer去处理消息是不会丢的。 13、Kafka kafka 可以脱离 zookeeper 单独使用吗为什么
kafka 不能脱离 zookeeper 单独使用因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。
kafka 有几种数据保留的策略
kafka 有两种数据保存策略按照过期时间保留和按照存储的消息大小保留。
kafka 同时设置了 7 天和 10G 清除数据到第五天的时候消息达到了 10G这个时候 kafka 将如何处理
这个时候 kafka 会执行数据清除工作时间和大小不论那个满足条件都会清空数据。
什么情况会导致 kafka 运行变慢
cpu 性能瓶颈
磁盘读写瓶颈
网络瓶颈
使用 kafka 集群需要注意什么
集群的数量不是越多越好最好不要超过 7 个因为节点越多消息复制需要的时间就越长整个群组的吞吐量就越低。
集群数量最好是单数因为超过一半故障集群就不能用了设置为单数容错率更高。
