好看网电影网站模板,微网站 布局,wordpress 自适应 汉化,统一门户网站建设参考规范OB君#xff1a;蚂蚁金服资深技术专家虞舜将在本文为大家分享蚂蚁金服数据库所面对的业务挑战#xff0c;解读OceanBase的自治数据库体系#xff0c;解密OceanBase在天猫双11大促期间的稳定性解决方案#xff0c;探索OceanBase在蚂蚁金服的智能运维实践之路。本文整理自Oce… OB君蚂蚁金服资深技术专家虞舜将在本文为大家分享蚂蚁金服数据库所面对的业务挑战解读OceanBase的自治数据库体系解密OceanBase在天猫双11大促期间的稳定性解决方案探索OceanBase在蚂蚁金服的智能运维实践之路。本文整理自OceanBase TechTalk技术沙龙杭州站上虞舜的演讲视频以及PPT。 前言
OceanBase是一款通用的分布式关系数据库有很多独特的特点。比如数据库的多租户、高可用、极致弹性伸缩能力。如果把OceanBase当作单库使用就没有办法把OceanBase的分布式能力发挥到极致。
近几年来传统数据库的基础领域方面突破越来越少而在人工智能和机器学习所驱动的自治数据库方面却屡屡获得重大进展。在今年的数据库顶级峰会SIGMOD中有多篇优秀论文都与自治数据库领域关系密切我们能越来越清晰地感受到人工智能与数据库的结合已经成为了大势所趋。其实不仅学术界如此越来越多的商业数据库巨头也已经将重心转移到了自治化数据库之上。
关于OceanBase
OceanBase为何被称为金融级数据库呢在蚂蚁OceanBase部署在非常廉价并且经常发生故障的服务器上而正是在这些不可靠的服务器上建立了支撑支付宝、网商银行以及整个蚂蚁金服如此巨大业务量的OceanBase数据库在出现机器宕机时能够在极短时间内恢复。2017年的天猫双11当天蚂蚁每秒钟需要处理大约25.6万笔交易支付以及4200万次SQL请求。
OceanBase Milestone
那么首先我们一起来回顾一下OceanBase这几年的重要里程碑事件2010年6月OceanBase正式立项2011年淘宝收藏夹上线2014年支付宝交易系统上线2016年支付宝账务系统上线2017年OceanBase开始商业银行推广至今已在多家商业银行上线运行。
OceanBase至今已成功应用于支付宝全部核心业务交易、支付、会员和账务等系统网商银行和印度Paytm以及阿里巴巴淘宝收藏夹、P4P广告报表等业务。从2017年开始OceanBase开始服务外部客户包括南京银行、浙商银行、人保健康险平台等。 目前OceanBase技术团队正在如上图所示的几个方向上开展研究工作包括HTAP、全局快照、兼容性等等。本文分享的主题则是其中一个重要的研究方向——智能化数据库。
蚂蚁数据库的挑战和应对之道
对于蚂蚁金服而言数据库方面的挑战可以主要分为5个方面高并发交易、低成本交易、精细化高可用、国际化以及高效的研发运维支撑。
智能驱动的Self-Driving Database 为了应对上述数据库方面的挑战蚂蚁需要更加智能的自治数据库来提升整体的效率和稳定性。在蚂蚁我们做了几个方面的实践比如数据库配置的自调优Self/Auto Tuning遇到故障时候的自愈Self/Auto Healing以及面对容量、利用率以及成本问题的自伸缩Self/Auto Scaling。其实智能驱动的自治数据库就像是自动驾驶汽车一样目标是希望让大部分的事情都由数据库自己完成让DBA、SRE、业务研发能够更加专注地做好业务。
SIGMOD以及业界趋势
自治数据库近年来无论是在学术界还是工业界都是比较火的学术界的SIGMOD 2018里的两篇论文“Query-based Workload Forecasting for Self-Driving Database Management Systems”和“P-Store: An Elastic Database System with Predictive Provisioning”和蚂蚁目前正在做的工作比较接近。此外在工业界 Oracle将Autonomous Database作为一个重要的方向提升Oracle在数据库市场上的竞争力。
智能化数据库系统的架构 如上图这是蚂蚁定义的智能化数据库系统的架构包括感知、决策、执行等模块其实简单而言它是一个典型的控制系统。站在数据库的角度来看整个系统的目标就是让Response Time最小、吞吐量最高、RT时间最小。
智能化数据库系统的输入可能是负载模型或者系统事件这两者就构成了系统所需要感知的元素。举例而言比如OceanBase系统感知到了一次SSD磁盘IO抖动因为蚂蚁数据库系统中有海量的SSD这样的抖动每天都会发生有些抖动只发生一次就会恢复而另外一些抖动可能因为SSD固件Bug、物理故障等因素无法自动恢复可能会Hung死系统。智能化的数据库系统首先将会通过数据和算法感知到IO问题然后将信息同步给决策系统——数据库大脑数据库大脑会决策这样的问题出现之后应该如何解决。例如在蚂蚁当系统感知到业务异常时大脑会快速的根据数据和算法判断异常的根因以及可行的方案当识别到SSD有问题时就会做出剔除SSD或者OceanBase Server的决策实现Response Time的快速恢复。
在上图所示的智能化数据库系统架构设计中系统层面使用了很多的机器学习算法OceanBase层面也做了大量的能力扩展和防护措施比如上面谈到的SSD或Server的剔除能力OceanBase在执行操作之前会进行leader切换以及副本完整性检测避免影响业务。智能数据库系统的优化策略与人的决策过程非常相似比如DBA优化SQL时会先判断哪里存在问题这就完成了第一步“感知”之后再进行第二步“决策”根据经验判断应该执行的操作第三步是执行这个操作从而达到优化系统或者恢复故障的目的。
智能化数据库系统的三大组件
智能化基石
要建立上述的智能数据库系统需要坚实、灵活的基础能力支撑包括一下几个方面
第一点是灵活可扩展、可定制的OceanBase例如开放数据库内核的能力使得平台或者工具可以任意干预SQL的计划和执行策略任意切换主节点并修改资源配置通过精心设计和实现这些内核能力避免决策错误时对系统产生不良的影响。
第二点是自动化、稳定并且具备强大数据处理能力的平台。举例而言如果数据库通过对历史数据的分析和计算确定在未来三天内或三个月内将会出现容量不足的情况那么就可以决策自动进行容量而这一点建立在资源“池”化的基础上比如容器如果数据库建立在物理机上这就使得扩容变得异常困难。
在蚂蚁数据库建立在容器之上需要时调用API直接扩容容器即可不需要时调用API归还容器即可OceanBase自动对数据进行迁移和均衡整个过程业务系统无感知这样的容量伸缩方式也已经经历了多次双11的实战检验。此外蚂蚁的数据库平台能够处理2017双11每秒4200万的SQL采集和计算而每条SQL都会被记录到系统中之后通过机器学习算法可以识别出SQL执行情况的变化。
最后就是数据库专家的经验无论国内外阿里和蚂蚁的数据库工程师的经验和能力都是很强的不断将这些经验转化成为自治数据库需要的规则和算法来提升整体系统的能力让蚂蚁OceanBase的数据库体系逐步提升逼近一个经验丰富的数据库工程师。
感知
具备了智能化基石之后我们再来深入讨论构建智能化数据库系统的三个组件。首先是感知系统对于感知系统而言它目标是理解数据库上运行了什么样的业务并对上面的工作负载Workload进行建模负载建模常用的一些算法比如随机过程、回归以及RNN等在上述的论文中有所介绍完成负载建模后可以通过模型预测未来工作负载的变化比如是否存在流量的突增导致的容量不足等让数据库系统提前作出反应比如建立索引、增加资源等。
另外一点就是“统一事件”这一点较为抽象“统一事件”用来建模数据库系统里面真实发生的事情、所处的状态比如有没有Server宕机、有没有Partition发生迁移或者某些关键指标的是否发生了变化等为了感知这些事件智能数据库系统中使用Anomaly Detection相关的算法例如LSTM、ARIMA、HoltWinters以及Ensemble等算法来识别这些变化并生成相应的事件。
决策
在智能数据库系统中决策是使用AI或机器学习的一个非常重要的场景。决策的本质是给定一个输入比如系统里面发生的事件、Metric Data以及Workload等输出就是Action Plan而优化的目标就是使得RT时间最小、TPS时间最大和成功率最高这一点无论是在银行还是在蚂蚁金服内部都是一样的。
蚂蚁数据库目前所采用的策略主要有两种一种是基于经验的决策依靠蚂蚁DBA专家的经验建立一颗决策树在判断当前的情况符合决策树中的分支时决策执行提前设定好的预案。另外一种是基于学习的决策这部分可以使用聚类或者控制理论算法来实现在蚂蚁我们使用了最朴素的策略。这方面最大的挑战就是如何积累学习所需要的数据因为机器学习的很多算法需要大量数据进行训练蚂蚁为了积累这些数据开发了DB风险回归平台其能够以95%的程度仿真线上系统的工作负载通过自动的在这些工作负载上注入的异常和优化策略达到积累数据的目的。
执行器
除了执行决策产生的Action Operator执行器模块还有两个目标就是实现幂等以及最小化系统影响。蚂蚁金服技术团队对于执行器做了抽象将其抽象为Operator模型这个模型中具有可免疫和可回滚的特点也就是说在Operator或Action执行的时候就能够知道预期产生的结果并且保证产生预期的结果其背后就是基于数据或者规则进行的分析判断。
智能化的最佳实践案例
智能化大促
接下来结合蚂蚁金服的两个具体场景为大家分享智能化的具体实践。第一个场景是智能化大促如下图所示的是蚂蚁金服的简化架构图。可以看出整个链路非常复杂支付的核心链路需要经过很多的系统之前都是通过人工方式判断大促场景有几个核心链路并人工计算每个系统大约需要处理多少SQL以及需要多少机器这样非常容易出现计算错误或者遗漏。
此外还有一些系统可能并不重要但是还是占用了很多机器这其实是不合理的。因此在618大促过程中蚂蚁金服实现了通过智能方式计算出到底哪些系统和链路是与大促相关的在计算出精细化的容量之后就能够实现机器的自动扩容之后系统就可以自动实现重新负载均衡。 智能化大促的第二点工作就是持续优化。每年在蚂蚁内部都会上线很多新系统对于大促相关的业务系统需要驱动其持续进行优化而由于业务迭代太快所以这一点无法靠人工完成需要能够自动识别整个系统的瓶颈和问题并提供优化建议。
第三点就是用户无感知压测蚂蚁的线上系统在运行真实业务流量的同时也会运行用于检测系统容量的测试流量。由于双11的流量压力非常大因此在进行线上压测的时候很容易造成故障故障随着RPC的传导可能会造成整条链路出现问题进而影响用户体验。针对这个问题通过对历史数据的学习和建模计算下一次再增加压力是否会造成失败从而避免压测影响到用户。
第四点是资源利用率的提升蚂蚁将数据库放到容器里面之后也就形成了一个非常大的分布式系统。该系统的部分业务和双11相关另外一些则没有关系与双11有关系的业务系统的CPU会非常忙绿而没有关系的业务系统的CPU将会非常空闲想要将系统的资源利用率提升上去就需要rebalance等智能化方法。 蚂蚁金服针对于复杂的链路实现了容量预测模型与此同时还会对于业务类型进行刻画判断链路是否与双11相关以及其属于IO密集型还是CPU密集型。当将这些业务模型刻画好之后就能够清楚地了解业务情况进而可以实现很多事情比如从全局的角度将与双11相关与不相关的业务合并部署到同一台机器上更合理的利用资源而且这些都是系统自动化实现的无需人工参与。
另外一点就是持续进行优化这包括资源优化和计划状态蚂蚁的数据库系统采集了线上运行的所有SQL以及SQL的运行数据对每条SQL都进行了参数化以及分库分表归一化建模从而了解每条SQL大概会访问多少数据访问了哪条索引最优策略应该是什么样的。其效果就是对于线上运行的所有核心业务的每一条SQL都可以判断哪条SQL不是最优的或者数据库访问资源过多需要修改并通过钉钉“”具体相关人员进行改进。
稳定性 第二个具体场景就是稳定性这里列举了支付宝经常使用的三个场景移动支付、乘公交地铁以及购买理财产品而在这些场景对实效性、成功率等要求时非常高在蚂蚁金服这样的体量下任何一点点异常都会影响非常多的用户促使蚂蚁对稳定性的要求越来越高既要具备城市级容灾能力也要具备精细化的异常恢复能力。
蚂蚁金服OceanBase的容灾机制
下图来自于Google其大概列举了系统中经常会出现的异常类别。在过去的几年里蚂蚁金服投入了大量的资源进行架构改造升级实现机房、网络等基础设施层面故障的快速恢复能力。蚂蚁金服也正在设计系统来发现非通断式异常并快速、自动的将这些异常修复。 Zone/Region级别容灾
如下图所示的是蚂蚁金服的数据架构在业务和数据库中间件的数据架构层能够保证当某一个机房挂掉可以立即切换到另外一个机房。左侧的图则是OceanBase的“三地五中心”的设计即使某个城市故障都不会影响服务使用这样的架构现在依旧在不断进行优化和打磨。 Self-Healing-精细化异常恢复
精细化异常恢复的主要目的是自动化解决数据库系统的异常。这里列举了几个例子比如下图列举了三个非通断异常Bad SQL、IO Hung以及Software Bug。目前蚂蚁内部的目标就是在5分钟之内恢复这些异常这显然无法通过人工完成而需要自动化手段比如基于专家经验的决策树和机器学习决策。Self-healing会引入一个问题那就是如何防止自动化决策错误导致问题恶化而目前蚂蚁能够做到了切主不杀事务、幂等控制和柔性强切以及其他系统防护的工作。
下一步计划
对于未来的计划而言首先要让蚂蚁的所有业务域都运行在自治的数据库中不再需要DBA进行日常维护希望能够通过智能数据库解决90%以上的问题而让DBA和架构师更加专注于架构发展和平台设计。此外蚂蚁还希望将经过内部验证的功能和服务来赋能蚂蚁金融云和更多银行等金融机构。 原文链接 本文为云栖社区原创内容未经允许不得转载。
