做视频网站注意什么软件,建筑网站首页大图,wordpress经常502,江西响应式网站建设作者介绍刘宝珍#xff0c;架构师#xff0c;目前就职于大型资产管理公司的科技子公司#xff0c;拥有多年的大型私有云的规划和设计工作经验#xff0c;熟悉软件的开发流程#xff0c;目前醉心于研究基于DDD和敏捷的软件的开发模式#xff0c;对分布式架构有深入的理解架构师目前就职于大型资产管理公司的科技子公司拥有多年的大型私有云的规划和设计工作经验熟悉软件的开发流程目前醉心于研究基于DDD和敏捷的软件的开发模式对分布式架构有深入的理解同时也希望同各位朋友交流软件架构和云计算架构的经验。注本文转载自订阅号MySQL解决方案工程师由徐轶韬编辑修订。本文通过记录真实案例的形式对故障排除的过程进行总结和反思。文中不但描述了刘老师解决问题的思路还清晰的记载了解决问题的方法。仔细阅读此文你会发现刘老师对故障的排除和修复有着清晰的思路和严谨的执行方法。另外通过此文还可以发现刘老师的一大爱好去GitHub查找资源并加以利用。这一举动不但体现了开源软件的优势也体现了开源爱好者的理念。接下来让我们阅读刘老师的原文。一、背景和思路2020年2月25日微信的朋友圈大量转载微盟遭遇了系统重大故障36小时内尚未恢复核心生产数据从而想到本人在两周前处理的一个案例开发人员误删除了生产数据本人恢复的一个过程同时给这个故障的处理过程做一个总结也对学过的知识做一个梳理希望对运维的同学们有一个警示作用。2月13日23:00接到微信通知能否帮忙恢复数据。系统环境信息如下操作系统RHEL7.5工作流平台开源activity业务应用调用activity生成该应用的流程数据工作流使用的数据库MYSQL 5.7社区版一主两备23:05开始介入数据丢失的故障确认一个大概解决问题的思路1、找到是什么人在什么时间点做了什么操作2、这个操作对系统的影响有多大是否对其他系统有影响确认这个操作是不是正常业务体现3、确认数据库里受到影响的日志的时间段。4、在仿真环境复盘整个故障。5、制定技术恢复方案在仿真环境验证数据恢复方案。6、在仿真环境验证数据恢复后应用是否正常。7、备份生产环境数据应用数据恢复方案到生产环境。8、生产环境绿灯测试无误后恢复完成。由于恢复生产数据是重大的数据调整需要报请领导批准需要有完备的数据回退方案。二、数据恢复过程及技术分析用了5分钟理清了处理这个问题思路接下来就是考虑具体的数据恢复了。在处理这个问题过程中有两个难点需要解决。1、确认要恢复的binlog的开始和结束。2、根据binlog的开始和结束确认数据恢复方案以及是否需要需要排除在这个时间段发生的其他干扰数据。首先解决第一个问题1、询问开发人员开发人员给出晚间大概20:20左右操作rest接口调用了activity(以下简称工作流)平台删除流程模板的操作导致该流程模板下所有的流程实例全部被删除在该流程模板下有5个在途的流程尚未处理完成。2、根据开发人员的描述登录到工作流平台的数据库查看数据库在20:20左右的binlog 文件并对11号binlog文件进行备份。3、将binlog拷贝到一个开发的服务器通过mysqlbinlog进行解析。解析命令为mysqlbinlog -v --base64-outputdecode-rows --skip-gtidstrue --start-datetime2020-02-13 20:10:00 --stop-datetime2020-02-13 21:30:00 -d {$DBNAME} mysql-bin.000011 aa.log dbname做了脱敏处理。4、观察解析后的sql在20:20分并未发现大量的删除操作确认开发人员的话不可信做故障诊断的第一原则任何人的话都不能全信也不可能不信带着疑问来找到论据证明他的说法。5、继续翻看解析的binlog20:30开始出现大量的delete和update等操作开始怀疑这一点是不是有问题的时间段。6、将这一段的sql进行归纳总结归纳需要操作几个表对这个几个表的操作类型以及操作的数据的类别(业务ID)。同工作流平台的同事进行确认删除一个工作流的模板是不是涉及到这些表的变更工作流平台的同事确认是这个过程数据恢复的希望诞生了7、根据以前的经验积累github上有个开源项目binlog2sql可以将binlog的event翻译成sql语句也可以翻译成反向sql顿时觉得这个问题应该很“容易”解决了。8、根据以上思考开始在仿真环境里安装binlog2sql工具该工具就是一个python的程序需要安装好python环境以及需要的三方库即可具体的使用方式请参考https://github.com/danfengcao/binlog2sql同时也再次感谢工具的作者曹老师。9、在仿真环境里恢复生产环境有问题的实例同时在工作流平台将应用的jdbc的url指向新的恢复好的实例。以上几个过程已经解决了第一个问题接下来我们要解决第二个问题。1、在以上的步骤里已经在仿真环境复盘了生产环境的故障同时在也仿真环境里里安装了binlog转成sql的工具。2、使用binlog2sql的工具解析出来错误执行的sql让工作流的平台的同时进行确认同时让工作流的同事确认在这个时间段内没有其他的应用也在操作这个数据库。3、工作流的同事确认sql全部为误操作产生的sql。具体的确认方式如下在仿真环境模拟创建一个工作流模板。在这个模板上创建几个测试实例通过接口去删除这个工作流模板观察应用产生的sql以此来确认本人提供的sql是否正确。同时工作流平台确认在问题时间段内无其他应用操作感觉胜利在望了该问题可以轻松解决了。4、通过binlog2sql生产反向sql把sql应用于仿真环境问题就能解决了仔细观察反向sql文件发现里面有一些乱码查看乱码字段所在的表发现表的定义是这样的表中有个字段为longblob字段产生的insert的sql无法执行这个问题该怎么处理5、这个问题到这里陷入了僵局眼看马上就能解决的问题发现有一个表数据无法通过sql进行插入询问工作流平台同事这个表是否很重要得到答复没有这个表的数据系统无法运转。6、换个思路考虑一下既然sql是通过二进制的binlog生成的可以考虑生成反向的二进制binlog然后把这一段反向的binlog应用到数据库这个问题就解决了。7、带着这个思路去github里翻看了项目。果然还真有一个https://github.com/Meituan-Dianping/MyFlash 再次非常感谢美团点评开源的myflash项目。8、利用myflash生成了反向二进制文件把文件应用到数据库工作流平台在仿真环境测试数据完美再现。三、问题的反思通过以上分析基本上就可以轻松解决这个问题。对自己提出几个问题1、为什么不用备份恢复的方式进行数据库恢复在这个系统上数据已经备份了每天都有全备不能使用这个恢复的原因工作流平台里有很多应用的流程引擎一旦做了基于时间点恢复别的应用的系统数据一块被恢复了将会导致别的系统会丢失一部分数据。2、为什么不基于表的数据恢复因为工作流平台是一个开源的平台数据模型之间的关联性特别强如果基于表的恢复容易导致数据的约束出现问题。反思1、 为什么在生产环境出现丢失数据的情况开发人员在生产上线过程越过了仿真环境直接上生产对生产上线过程并不严谨虽然有管理流程但是对流程的过程执行不力。2、研发人员的技术能力研发人员对activity并不熟悉对于修改流程模板的流程也不熟悉提高研发人员的技术能力必须要提上日程。四、后续问题结合以上分析过程需要指定一些辅助策略来完善发布流程。1、发布流程自动化应用代码发布自动化发布尽量避免人为参与。2、应用发布流程标准化所有的脚本和上线的新的应用的步骤必须经过验证才能上线。作者丨刘宝珍 编辑修订丨徐轶韬来源丨MySQL解决方案工程师(IDmysqlse)dbaplus社群欢迎广大技术人员投稿投稿邮箱editordbaplus.cn难道救火注定是运维绕不开的宿命吗突破运维转型困局9月11日在北京让Gdevops全球敏捷运维峰会给你新思路《浙江移动AIOps实践》浙江移动云计算中心NOC及AIOps负责人 潘宇虹《数据智能时代构建能力开放的运营商大数据DataOps体系》中国联通大数据基础平台负责人/资深架构师 尹正军《银行日志监控系统优化手记》中国银行DevOps负责人 付大亮 中国银行高级软件工程师 李晓宁《民生银行智能运维平台实践之路》民生银行智能运维平台负责人/应用运维专家 张舒伟《建设敏捷型消费金融中台及云原生下的DevOps实践》中邮消费金融总经理助理 李远鑫
