苏州比较大的网站公司,失效网站建设费支出,wordpress 函数手册,精品设计网站#xfeff;写在前面现每个后端的同学的日常都在跟服务(接口)打交道#xff0c;维护老的比较大单体应用、按业务拆得相对比较细的新服务、无论企业内部用的#xff0c;面向用户的前端的服务。流量大的有流量小的#xff0c;有重要的有不那么重要的。但是#xff0c;不管怎… 写在前面现每个后端的同学的日常都在跟服务(接口)打交道维护老的比较大单体应用、按业务拆得相对比较细的新服务、无论企业内部用的面向用户的前端的服务。流量大的有流量小的有重要的有不那么重要的。但是不管怎样的服务我们总思考过这样的问题我能不能实时监控/查看服务的运行情况呢服务一挂掉我马上能收到预警呢这个问题的答案就是服务监控。服务监控一般包括两部分服务运行环境的监控。毕竟现在云环境所占比例越来越多不能单纯叫服务器硬件监控了。我们日常遇到的服务挂掉多少是运行环境出问题宕机啊网络磁盘故障等。本篇先聊聊这个服务本身的监控也就是web应用的监控。下一篇再聊。Prometheus简介现在我们做监控一般是这样的先搭个监控服务端各被监控客户端往服务端push数据(或服务端定时主动去客户端pull我们现在就是这种模式)服务端把pull的数据存到时序数据库中再搭建一个图形面板Grafana展示收集的监控数据我们现在用的监控服务端是prometheus Prometheus官网地址https://prometheus.io/ Prometheus GitHubhttps://github.com/prometheus/prometheus/ Grafana Github: https://github.com/grafana/grafana其实以上搭配几乎已经成业界标准(个人角度)prometheus的架构上一张prometheus架构图大家可以花点时间看一下其中Exporter负责收集目标对象如Host或Container的性能数据并通过HTTP接口供Prometheus Server获取。每一个客户端都会提供一个 /metrics 的get接口Prometheus Server负责从客户端(Exporters)拉取和存储监控数据并给用户通过PromQL查询。可视化组件 Grafana获取Prometheus Server提供的监控数据并通过Web UI的方式展现数据的仪表盘。AlertManager负责根据告警规则和预定义的告警方式发出例如Email、Webhook之类的告警。prometheus存储数据结构我先贴个示例# HELP process_virtual_memory_bytes Virtual memory size in bytes.
# TYPE process_virtual_memory_bytes gauge
process_virtual_memory_bytes 3109478400
# HELP dotnet_total_memory_bytes Total known allocated memory
# TYPE dotnet_total_memory_bytes gauge
dotnet_total_memory_bytes 4289400
# HELP process_cpu_seconds_total Total user and system CPU time spent in seconds.
# TYPE process_cpu_seconds_total counter
process_cpu_seconds_total 4.01
# HELP http_requests_in_progress The number of requests currently in progress in the ASP.NET Core pipeline. One series without controller/action label values counts all in-progress requests, with separate series existing for each controller-action pair.
# TYPE http_requests_in_progress gauge
http_requests_in_progress{methodGET,controller,action} 1
# HELP process_num_threads Total number of threads
# TYPE process_num_threads gauge
process_num_threads 19#HELP 是对监控指标(Metric)的注释说明#TYPE 监控字段的类型 比如process_virtual_memory_bytes 是 gauge类型的监控(具体可看这里)在形式上所有的指标(Metric)都通过如下格式标示metric name{label namelabel value, ...}指标的名称(metric name)可以反映被监控样本的含义比如http_request_total - 表示当前系统接收到的HTTP请求总量。指标名称只能由ASCII字符、数字、下划线以及冒号组成并必须符合正则表达式[a-zA-Z_:][a-zA-Z0-9_:]*。标签(label)反映了当前样本的特征维度通过这些维度Prometheus可以对样本数据进行过滤聚合等。标签的名称只能由ASCII字符、数字以及下划线组成并满足正则表达式[a-zA-Z_][a-zA-Z0-9_]*。例如api_http_requests_total{methodPOST, handler/messages}也可以这样写比较少见大家看第一种写法就好{__name__api_http_requests_totalmethodPOST, handler/messages}Prometheus Server环境搭建运行环境我这里有两台测试的虚拟机 192.168.43.215192.168.43.216因为这里是测试只用docker启动一台在215即可先准备配置文件/etc/prometheus/prometheus.ymlglobal:scrape_interval: 15sevaluation_interval: 15sexternal_labels:monitor: edc-lab-monitoralerting:alertmanagers:- static_configs:- targets:# - alertmanager:9093rule_files:# - first.rules# - second.rulesscrape_configs:- job_name: prometheus_serverstatic_configs:- targets: [192.168.43.215:9090]#主机数据收集- job_name: node-exporterstatic_configs:- targets: [192.168.43.215:9100,192.168.43.216:9100]#容器数据收集- job_name: cAdvisorstatic_configs:- targets: [192.168.43.215:9101,192.168.43.216:9101]dockerdocker run -d -p 9090:9090 \-v /etc/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \--name prometheus \prom/prometheus跑起来了http://192.168.43.215:9090/targets 前面四个StateDOWN表示该数据收集节点挂了这里因为我们还没运行起来顺便说一下正式环境一般用集群但是其实prometheus单机也有非常不错的性能。足以满足很多吞吐量不是非常夸张的监控需求。节点数据收集--主机数据收集来开始收集主机数据了用的是node_exporter215,216 都给安排上docker rundocker run -d -p 9100:9100 \
-v /proc:/host/proc \
-v /sys:/host/sys \
-v /:/rootfs \
--name node-exporter \
prom/node-exporter \
--path.procfs /host/proc \
--path.sysfs /host/sys \
--collector.filesystem.ignored-mount-points ^/(sys|proc|dev|host|etc)($|/)跑起来了节点数据收集--docker容器数据收集docker容器数据的收集用的是cAdvisor同样的215,216 都给安排上docker rundocker run \--volume/:/rootfs:ro \--volume/var/run:/var/run:rw \--volume/sys:/sys:ro \--volume/var/lib/docker/:/var/lib/docker:ro \--volume/dev/disk/:/dev/disk:ro \--publish9101:8080 \--detachtrue \--namecadvisor \google/cadvisor:latest跑起来了再看看prometheus serverhttp://192.168.43.215:9090/targets 可以看到之前StateDOWN的红色节点都绿油油起来了数据都准备好了来看看我们美美的仪表盘吧~集成Grafana仪表盘安装只安装一个215就好了依旧是 docker rundocker run -d --namegrafana -p 3000:3000 grafana/grafana首次登录账户密码都是admin 并会要求你重置重置密码后进去主页初始化数据源点击“Add data source”选择 Prometheus注意填对 prometheus server 地址点击底部的“保存 测试” 按钮出现这个表示数据源添加成功数据源添加好了准备分别为主机监控和容器监控添加仪表盘选个合适的仪表盘https://grafana.com/grafana/dashboards?searchdocker 可以在这里顺便搜选个合适自己的当然也可以自己构建我为node_exporter选择id8919,cadvisor选了id11558大佬们做好的仪表盘import仪表盘点击这个import填入8919后点击load加载成功后继续点import美滋滋同样流程把cadvisor的11558也给安排上爽歪歪~~当然还有更多选择这里只是抛砖引玉大家可以慢慢找个符合自己需求的仪表盘实在找不到自己绘制也行。总结因为硬件、服务环境监控这些主要是运维的业务范畴我就写简单带过。下篇讲讲怎么在Asp.Net Core WebApi中集成。有时间也会多写写Alert预警等先挖坑。参考主要还是跟随龙哥(Edison Zhou)步伐https://www.cnblogs.com/edisonchou/p/docker_monitor_introduction_part3.htmlhttps://www.cnblogs.com/edisonchou/p/docker_monitor_introduction_part2.htmlhttps://yunlzheng.gitbook.io/prometheus-book/https://www.cnblogs.com/catcher1994/p/13513184.html
