wordpress企业建站,兰溪建设网站,电子商务网站建设与维护能赚多少钱,郑州网站排名分析最近云上用户用户遇到一个 sharding 集群性能问题的疑惑#xff0c;比较有代表性#xff0c;简单分享一下
测试配置
mongos x 2、shard x 3测试1#xff1a;集合不开启分片#xff0c;批量 insert 导入数据#xff0c;每个 batch 100 个文档测试2#xff1a;集合开启分…最近云上用户用户遇到一个 sharding 集群性能问题的疑惑比较有代表性简单分享一下
测试配置
mongos x 2、shard x 3测试1集合不开启分片批量 insert 导入数据每个 batch 100 个文档测试2集合开启分片随机生成 shardKeychunk 已提前 split 好能确保写入均分到3个shard
测试结果
测试1单个 shard cpu 跑满insert qps 在 6w 左右测试23个 shard cpu 跑满insert qps 在 7w 左右平均每个分片2.4w左右
注两个测试里mongos 都不是瓶颈能力足够
从测试结果看每个shard都承担 1/3 的负载的确达到横向扩张的目的但为啥分片之后单个shard的能力就下降了呢如果是这样sharding的扩展能力如何体现
结果分析
这里核心的问题在于 batch insert 在 mongos 和 mongod 上处理行为的差别
导入数据时一次 insert 一条数据和一次 insert 100 条数据性能差距是很大的首先减少了client、server 端之间的网络交互同时 server 可以将 batch insert 放到一个事务里降低开销mongos 在收到 batch insert 时因为一个 batch 里的数据需要根据 shardKey 分布到不同的shard所以一个 batch 实际上需要被拆开的这里 mongos 也做了优化会尽量将连续的分布在一个shard上的文档做 batch 发到后端 shard。在集合不开启分片的情况mongos 收到的 batch 肯定是转发给 primary shard所以转发过去还是一整个 batch 操作 而在集合开启分片的情况下因为用户测试时shardKey 是随机生成的基本上整个 batch 被打散成单条操作逐个往后端 shard 上发送请求到后端 shard 基本已经完全没有合并了。
所以在上述测试中不分片的单个 shard 6w qps、与分片后每个 shard 2.4w qps实际上就是请求是否 batch 执行的差别。
对应用的影响
从上面的分析可以看出batch 往分片的集合写入时因为无法预知数据应该分散到哪个分片实际上往后端 shard 写入时会失去 batch 的效果但这个批量导入一般发生在数据导入阶段影响比较小。
原文链接 本文为云栖社区原创内容未经允许不得转载。
