手机版网站开发价格,公司网站设计公司,备案我网站的大致内容是,在线crm系统排名作者 | 中国农业银行研发中心 王哲头图 | 下载于视觉中国出品 | CSDN云计算#xff08;ID#xff1a;CSDNcloud#xff09;随着业务不断发展#xff0c;微服务架构越来越受到各大企业的青睐#xff0c;随之也给传统运维带来更大的挑战#xff0c;多维KPI指标数量繁多… 作者 | 中国农业银行研发中心 王哲头图 | 下载于视觉中国出品 | CSDN云计算IDCSDNcloud随着业务不断发展微服务架构越来越受到各大企业的青睐随之也给传统运维带来更大的挑战多维KPI指标数量繁多、相互之间关系复杂要想在故障发生后第一时间定位到故障性能指标只依靠人力排查的难度可想而知。在几代运维人的不懈努力下故障定位的方法也由传统的查日志、匹配历史解决方案晋升为利用机器学习、深度学习等更加智能快捷的方法进行异常检测、时序分析、根因定位快速定位异常极大缩短故障抢修时间从而快速恢复服务。本文将从异常检测算法、相关性系数以及格兰杰因果分析三种方法出发对故障根因进行初步的探索和实践。异常检测算法——孤立森林和RRCF根因定位问题的目标其实是要定位到某个网元发生的某种指标异常那么将异常检测算法直接运用到根因定位问题中也是有效可行的本章节将介绍孤立森林和Robust Random Cut Forest两种异常检测算法的应用。众所周知孤立森林Isolation Forest是一种高效的异常检测算法它和随机森林比较相似不同点在于每次选择划分属性和划分值时都是随机的而不是根据信息增益或者基尼指数来选择。在构建树的过程中如果一些样本很快就到达了叶子节点即叶子到根的距离很短那么就被认为很有可能是异常点。比如下图中共有a,b,c,d四个指标b和c的高度为3a的高度为2d的高度为1d就有可能是异常因为其最早就被孤立了。下面展示该方法的代码实现import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.ensemble import IsolationForest
from scipy import stats# 读入数据
df pd.read_csv(‘a.csv’)
rng np.random.RandomState(42)
#定义样本总数
n_samples10
# 训练模型
clf IsolationForest(max_samplesn_samples, random_staterng, contamination0.33) #contamination为异常样本比例
clf.fit(df.values)
scores_pred clf.decision_function(df.values)
# 测试
clf.predict(df.values)RRCFRobust Random Cut Forest是以孤立森林为基础改造而来的由于数据是持续产生的那么数据时序特征也是不可忽视的重要特征RRCF的优势就在于能更好地适用于流式数据。大致的算法流程如下首先对数据流进行采样为保证数据的实效性采用蓄水池采样策略判断出当前数据点是否参与异常检测建模同时指定一个时间窗口长度当建模的数据过期后应该从模型中剔除掉然后构建森林人为指定采样点数量如果使用RRCF的默认值将会构建出一个由100棵树构成的森林每棵树都从上一步的池中随机采样256个数据点在森林构造完成后将待处理的样本点放入森林中并计算异常分数每个样本的异常分数代表包含或不包含该点的情况下导致模型发生变化的程度计算公式如下在无法很好的确定故障根因的情况下可以考虑计算各个时间序列指标特征的RRCF异常分数然后对其进行排序得到的TOPN作为根因的候选值再结合其他方法能够得到比较好的异常定位效果。相关性系数要进行故障诊断完成根因定位计算不同指标的相关系数势必会产生一定的帮助。比如在观测到响应时间、交易量等业务指标异常时可以计算这一段时间内与该业务指标相关性较高的的性能指标这些高相关性的性能指标很有可能是引发这次故障的根因。当然在实际使用时需要结合实际情况或者前期训练的结果设置相应的权重决定其是否为真正根因。计算相关性系数的方法有很多例如Person相关、时间滞后互相关TLCC计算两个信号之间的方向性动态时间扭曲DTW同步长度不同的信号、还有瞬时相位同步等方法不同的方法将适用于不同的数据场景。本章节将以常用的Person相关为例展开实验展现相关性系数的魅力。两个连续变量(X,Y)的pearson相关性系数等于它们之间的协方差cov(X,Y)除以它们各自标准差的乘积(σX,σY)系数的取值总是在-1到1之间数字 -1负相关、0不相关和 1完全相关表示出它们之间的线性关系相关系数的绝对值越大相关性越强也就是说相关系数越接近于1或-1相关度越强相关系数越接近于0相关度越弱。下面展示一个在一段时间内不同指标之间的Person相关系数的方法并根据两两指标间的系数大小排序输出topn进行结果展示。# 计算相关系数并进行可视化
def plot_corr(new_metric1):columns [column for column in new_metric1]col_dic {}for i in range(len(columns)):col_dic[columns[i]] new_metric1[columns[i]]df pd.DataFrame(col_dic)#画出曲线趋势图ax df.plot()ax.legend(loc2, bbox_to_anchor(1.05,1.0),borderaxespad 0.)plt.show()# 计算相关系数df_corr df.corr()# 对相关系数排序输出sort_res sort_corr(df_corr)# 可视化 cmap:YlGnBu RdPuimport matplotlib.pyplot as mp, seabornseaborn.heatmap(df_corr, center0, annotTrue, cmapYlGnBu)mp.show()return df_corr, sort_res下图1展示的是不同指标在一段时间内的趋势图2展示的是这些指标之间的相关性系数热力图并对相关系数设定一定的阈值得到大于阈值的强相关性指标集。[system.load.1, system.load.1.pct, system.cpu.pct_usage, system.cpu.user, system.load.norm.1, system.cpu.i_dle]
格兰杰因果分析格兰杰因果关系作为一种可以衡量时间序列之间相互影响关系的方法近十几年备受业界青睐。如果想知道两个序列之间是否具有因果性可以用格兰杰因果检验(Granger causality test)进行分析。格兰杰因果关系检验的是“统计学意义上”的因果性时间上的先后和我们日常语言逻辑中的因果关系并不能同一而论。从统计的角度上讲因果关系是通过概率或者分布函数的角度体现出来的在宇宙中所有其它事件的发生情况固定不变的条件下如果一个事件 A 的发生与会对于另一个事件 B 的发生造成一定的影响并且这两个事件在时间上又是先后发生的A 前 B 后那么我们便可以说 A 是 B 的原因。举个生活中的例子在下雷雨前往往会天气闷热有“蚂蚁搬家”的现象发生从统计学角度来讲“蚂蚁搬家”和“下雷雨”之间存在因果关系但并不能说“蚂蚁搬家”是“下雷雨”的原因按照我们通常的逻辑来讲“下雷雨”反而是“蚂蚁搬家”的原因。因此在使用该方法前要明确格兰杰因果关系检验的是“统计学意义上”因果性的内涵。下面展示使用Python的statsmodels中的grangercausalitytests实践代码如下from statsmodels.tsa.stattools import grangercausalitytests
import pandas as pd
import numpy as np#生成数据
df pd.DataFrame(np.random.randint(0, 100, size(10, 2)), columns[a, b])
#格兰杰因果检验
grangercausalitytests(df[[a, b]], maxlag2)执行的结果为Granger Causality
number of lags (no zero) 1
ssr based F test: F5.7509 , p0.0534 , df_denom6, df_num1
ssr based chi2 test: chi28.6264 , p0.0033 , df1
likelihood ratio test: chi26.0496 , p0.0139 , df1
parameter F test: F5.7509 , p0.0534 , df_denom6, df_num1Granger Causality
number of lags (no zero) 2
ssr based F test: F1.6759 , p0.3246 , df_denom3, df_num2
ssr based chi2 test: chi28.9380 , p0.0115 , df2
likelihood ratio test: chi26.0010 , p0.0498 , df2
parameter F test: F1.6759 , p0.3246 , df_denom对结果解读如下number of lags (no zero) 1当lags为1时的检测结果ssr based F test残差平方和F检验ssr based chi2 test残差平方和卡方检验likelihood ratio test似然比检验结果parr F testamete参数 F 检验结果根因定位在日常运维工作中起到的重要作用可以说是不言而喻本文介绍了孤立森林和RRCF、相关性分析以及格兰杰因果关系三种根因定位的方法也做了初步的算法探索与实践。相信随着研究的进一步深入根因定位在智能运维领域的应用会更加广泛我们也将为快速定位异常大力而做出不懈的努力。60专家13个技术领域CSDN 《IT 人才成长路线图》重磅来袭直接扫码或微信搜索「CSDN」公众号后台回复关键词「路线图」即可获取完整路线图更多精彩推荐
☞5G、射频、奥特曼这仨有联系吗☞再见 Nacos我要玩 Service Mesh 了☞有没有不用加班的程序员如何衡量程序员的工作量点分享点收藏点点赞点在看
