当前位置: 首页 > news >正文

传媒公司网站制作网站更改目录做301

传媒公司网站制作,网站更改目录做301,软件技术毕业设计题目,网页游戏广告平台网站建设本文的主要目标是解决大数据平台中元数据库MySQL的异常故障。通过分析应用响应缓慢的问题#xff0c;找到了集群组件HIVE和元数据库MySQL的原因。通过日志分析、工具检测和专家指导等一系列方法#xff0c; 最终确定问题的根源是大数据集群中租户的不规范使用所导致#xff…本文的主要目标是解决大数据平台中元数据库MySQL的异常故障。通过分析应用响应缓慢的问题找到了集群组件HIVE和元数据库MySQL的原因。通过日志分析、工具检测和专家指导等一系列方法 最终确定问题的根源是大数据集群中租户的不规范使用所导致并逐步解决了这个问题。本文将详细描述故障的定位和解决思路希望通过案例分析能为遇到类似问题的同行提供参考。 本文来自twt社区专业委员会的课题研究 一、故障背景 营销人员在应用端进行目标客户群建设的时候发现有很大延迟。经过反馈、初步的查实定位发现是后端调用大数据集群服务的时候出现了没有返回的情况。这个情况导致后续的住户画像、上传集团、报数以及多个需要提醒目标客户的应用延迟。甚至引起了部分专业分公司的投诉。 二、故障解决思路 1、故障定位 HIVE 组件的问题分两类 1.hivemetastore 通过集群的监控页面或者hivemetastore的日志分析查看hivemetastore的并发数量等参数的限制问题 2.hiveserver2 1咨询查看是不是最近有新增加的任务通过分析看看不是有异常的SQL语句等程序 2通过集群的监控页面或者hiveserver2的日志分析查看是不是存在参数的问题 3审计分析hive的 元数据库 表是不是存在大量的分区表或者大的全表扫描的表等需要重点关注的审计表等信息 2、故障解决 既然已经知道是hive组件导致的MySQL元数据库的问题建议从以下方面着手 1.从hive组件着手 a.检查是不是最近有新上的任务没有经过代码审计或者SQL写的不规范的任务占用资源过多从而导致集群响应缓慢 b.检查hiveserver2和hivemetastore的参数分析其日志看看是不是由于参数问题导致的集群组件缓慢 2.从MySQL数据库着手 a.检查MySQL服务器的硬件资源情况查看CPU、内存、IO、网卡等信息看看是不是存在使用率过高的情况 b.对hive的元数据库进行盘点分析看看是不是有长连接或者占用资源很大的SQL语句运行从而导致数据库缓慢 3.从YARN组件着手 a查看租户队列资源的分配是否合理 b检查是否存在有大量的状态不正常的任务。 3、案例说明 1.如何发现MySQL的元数据库异常故障问题 15月6日18点30分运维人员发现创建目标客户群任务延迟经过查实集群响应效率缓慢导致任务延迟 25月6日19点到23点40分经过分析spark日志、hiveserver日志NameNode日志hivemetastore日志均未发现异常。在CM监控页面集群巡检各项指标均未发现异常 35月6日23点55分运维人员发现mysql的元数据库长连接会话较多且Innod锁数量持续增加未释放 45月7日0点3分运维人员请求基保部同事协助定位原因发现是元数据库MySQL中存在大数据租户的多个长连接影响数据库的性能进而影响集群任务的提交响应效率经过查实长连接会话及未释放的Innod锁是由租户user_yddsj大数据租户的任务发起 55月7日0点12分运维人员电话通知大数据租户厂家进行清理并邮件通知局方协助要求大数据租户厂家对长连接会话进行清理 65月7日 0点30分同步邀请H公司大数据产品线专家协助处理经过大数据产品线专家远程分析初步定位原因为metastore的并发数量不够把metastore的并发数量进行源码级别的调整增大并发数量在测试环境经过多次部署、调测、验证后于5月7日20点30分发布到正式环境21点30分完成了hivemetastore的服务重启。重启后集群能力恢复正常。但是经过跟踪监测集群服务性能在23点45分左右持续下降排除了hivemetastore的并发数量的影响并于当晚邀请专家次日到现场进行支撑。 75月8日8点10分H公司多位专家到达湖南电信现场携手定位故障原因集成专家发现MySQL数据库主机IO占用持续达到99% 85月8日8点30分通过MySQL专家定位确认是5月7日发现的长连接会话及未释放的Innod锁仍未释放这些会话指向的目标表为user_yddsj.volte_mw经过查询元数据信息此表有2万多个分区且租户的执行程序存在全表扫描的情况。导致MySQL数据库主机IO占用持续高水位 95月8日11点19分运维人员协同局方负责人通知大数据租户对表user_yddsj.volte_mw进行分区清理。经过局方负责人与大数据租户确认为尽快恢复集群的服务正常决定先停止大数据租户的集群服务且停止其应用程序 105月8日11点40分大数据租户开始清理user_yddsj.volte_mw表分区。于12点30分收到大数据租户表分区清理完成的通知 115月8日13点30分运维人员经过一个多小时的观察集群的服务响应和性能都已经恢复正常。访问元数据库效率恢复正常。 图1基础保障部同事协助定位长连接问题 图2-1长连接相关语句对应用户为大数据开放的租户 图2-2长连接相关语句对应用户为大数据开放的租户 图2-3长连接相关语句对应用户为大数据开放的租户 图35月8日MySQL数据库主机IO高水位 图4-15月8日MySQL数据库长连接语句定位大数据租户表user_yddsj.volte_mw存在2万多个表分区 图4-25月8日MySQL数据库长连接语句定位大数据租户表user_yddsj.volte_mw存在2万多个表分区 图4-35月8日MySQL数据库长连接语句定位大数据租户表user_yddsj.volte_mw存在2万多个表分区 图4-45月8日MySQL数据库长连接语句定位大数据租户表user_yddsj.volte_mw存在2万多个表分区 图4-55月8日MySQL数据库长连接语句定位大数据租户表user_yddsj.volte_mw存在2万多个表分区 图4-65月8日MySQL数据库长连接语句定位大数据租户表user_yddsj.volte_mw存在2万多个表分区 图4-75月8日MySQL数据库长连接语句定位大数据租户表user_yddsj.volte_mw存在2万多个表分区 图4-85月8日MySQL数据库长连接语句定位大数据租户表user_yddsj.volte_mw存在2万多个表分区 图55月8日定位大数据租户执行程序全表扫描问题 图65月8日13点30分 经过一个多小时的观察集群的服务恢复正常。 三、故障总结 1、问题解决 临时措施 1清理表分区将元数据库MySQL的压力释放 永久措施 1重新评估构建表将表设计重新建设特别是分区的设定 2将表的清理规则进行设置防止出现类似情况。 2、总结归纳 1大数据租户仅清理了HDFS文件未清理HIVE表分区信息 2大数据租户执行程序存在MySQL全表扫描情况 3大数据平台租户应用程序上线未纳入租户管理规范 4大数据平台集群表分区元数据缺少监控。 四、避免问题出现的优化 如何设计执行MySQL的元数据库异常故障问题整改计划 限定完成时间略 1大数据租户及时清理HIVE表分区信息配置自动清理脚本 2大数据租户对执行程序进行调整完成volte_mw表分区改造设计为大分区小分区完成执行程序的改造 3大数据平台将租户应用程序上线纳入租户管理规范 4大数据平台将新增集群表分区元数据监控。
http://wiki.neutronadmin.com/news/102792/

相关文章:

  • 邯郸市建设局网站政策阿里巴巴网站建设缺点
  • 给小孩子做网站什么是搜索引擎优化用一句话概括
  • 营销型网站建设 课程做电影网站会被捉吗
  • 网站内页怎样做优化百姓网二手房
  • wordpress可以做电影网站吗网页设计形考作业2
  • 网站备案登录密码找回在线编辑图片的网站有哪些
  • 东营企业网站建设wordpress长文章自动分页
  • 网站建设的项目总结网站建设的基本流程可分为
  • 生意宝做网站行吗vs2008不能新建网站
  • 网站开发如何共用菜单栏宜宾市珙县住房城乡建设网站
  • 竹中建设官方网站wordpress配置qq邮箱
  • it外包公司简介西安seo技术
  • 江苏省网站建设网站用户体验是什么
  • 莱芜企业建站公司哪个网站推广好
  • 没电脑可以建网站吗wordpress sae 上传
  • 网站建设 环保素材手机网站模板 php
  • 网站建设客户常见问题集锦重庆网站推广免费软件
  • 福建省建设干部网站黄冈网站建设优化排名
  • 行业做门户网站挣钱吗wordpress修改侧边栏
  • 装饰网站建设策划书微信微商城在哪里进入
  • 网站建设沟通外包接单网
  • 火锅自助餐网站建设床上用品网站源码
  • 零食天堂 专做零食推荐的网站梧州网站设计公司
  • 五是做好纪检监察网站建设wordpress自定义注册页面模板
  • 成都网站建设需多少钱离婚律师免费咨询
  • 如何给自己网站做网站优化做地方旅游网站
  • 维护一个网站要多少钱大型网站系统
  • html5 微网站模版广州专业网站建设报价
  • 怎样做论坛网站最近时事热点新闻事件
  • 网站 制作 技术过时vps远程桌面服务器