泉州企业建站程序,做网站大概多钱,cps广告联盟平台,东营市建设工程管理信息网2019独角兽企业重金招聘Python工程师标准 【缘起】 用户中心是几乎每一个公司必备的基础服务#xff0c;用户注册、登录、信息查询与修改都离不开用户中心。 当数据量越来越大时#xff0c;需要多用户中心进行水平切分。最常见的水平切分方式#xff0c;按照u… 2019独角兽企业重金招聘Python工程师标准 【缘起】 用户中心是几乎每一个公司必备的基础服务用户注册、登录、信息查询与修改都离不开用户中心。 当数据量越来越大时需要多用户中心进行水平切分。最常见的水平切分方式按照uid取模分库 通过uid取模将数据分布到多个数据库实例上去提高服务实例个数降低单库数据量以达到扩容的目的。 水平切分之后 uid属性上的查询可以直接路由到库如上图假设访问uid124的数据取模后能够直接定位db-user1。 对于uname上的查询就不能这么幸运了 uname上的查询如上图假设访问unameshenjian的数据由于不知道数据落在哪个库上往往需要遍历所有库【扫全库法】当分库数量多起来性能会显著降低。 用uid分库如何高效实现上的查询是本文将要讨论的问题。 【索引表法】 思路uid能直接定位到库uname不能直接定位到库如果通过uname能查询到uid问题解决 解决方案 1建立一个索引表记录uname-uid的映射关系 2用uname来访问时先通过索引表查询到uid再定位相应的库 3索引表属性较少可以容纳非常多数据一般不需要分库 4如果数据量过大可以通过uname来分库 潜在不足多一次数据库查询性能下降一倍 【缓存映射法】 思路访问索引表性能较低把映射关系放在缓存里性能更佳 解决方案 1uname查询先到cache中查询uid再根据uid定位数据库 2假设cache miss采用扫全库法获取uname对应的uid放入cache 3uname到uid的映射关系不会变化映射关系一旦放入缓存不会更改无需淘汰缓存命中率超高 4如果数据量过大可以通过name进行cache水平切分 潜在不足多一次cache查询 【uname生成uid】 思路不进行远程查询由uname直接得到uid 解决方案 1在用户注册时设计函数uname生成uiduidf(uname)按uid分库插入数据 2用uname来访问时先通过函数计算出uid即uidf(uname)再来一遍由uid路由到对应库 潜在不足该函数设计需要非常讲究技巧有uid生成冲突风险 【uname基因融入uid】 思路不能用uname生成uid可以从uname抽取“基因”融入uid中 假设分8库采用uid%8路由潜台词是uid的最后3个bit决定这条数据落在哪个库上这3个bit就是所谓的“基因”。 解决方案 1在用户注册时设计函数uname生成3bit基因uname_genef(uname)如上图粉色部分 2同时生成61bit的全局唯一id作为用户的标识如上图绿色部分 3接着把3bit的uname_gene也作为uid的一部分如上图屎黄色部分 4生成64bit的uid由id和uname_gene拼装而成并按照uid分库插入数据 5用uname来访问时先通过函数由uname再次复原3bit基因uname_genef(uname)通过uname_gene%8直接定位到库 【总结】 业务场景用户中心数据量大通过uid分库后通过uname路由不到库 解决方案 1扫全库法遍历所有库 2索引表法数据库中记录uname-uid的映射关系 3缓存映射法缓存中记录uname-uid的映射关系 4uname生成uid 5uname基因融入uid 转载于:https://my.oschina.net/architectliuyuanyuan/blog/1590330
