网站建设app开发学习,智慧工业园区建设方案,网站版式有哪几种,网站动图是怎么做的文章目录 日志分布式-ELK概念可以添加的其它组件filebeat 结合 logstash 带来好处为什么要使用 ELK缓存和Fluentd完整日志系统基本特征ELK 的工作原理 部署Elasticsearchjdk环境和防火墙配置安装Elasticsearch修改配置文件优化内存参数启动程序并测试效果安装 Elasticsearch-he… 文章目录 日志分布式-ELK概念可以添加的其它组件filebeat 结合 logstash 带来好处为什么要使用 ELK缓存和Fluentd完整日志系统基本特征ELK 的工作原理 部署Elasticsearchjdk环境和防火墙配置安装Elasticsearch修改配置文件优化内存参数启动程序并测试效果安装 Elasticsearch-head 插件插入索引 部署Logstash 在 Nginx节点上操作软件安装定义 logstash配置文件 部署Kiabana修改配置文件验证实验添加nginx日志 日志分布式-ELK
概念 ELK平台是一套完整的日志集中处理解决方案将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用 完成更强大的用户对日志的查询、排序、统计需求。 ElasticSearch是基于Lucene一个全文检索引擎的架构开发的分布式存储检索引擎用来存储各类日志。 Elasticsearch 是用 Java 开发的可通过 RESTful Web 接口让用户可以通过浏览器与 Elasticsearch 通信。Elasticsearch是一个实时的、分布式的可扩展的搜索引擎允许进行全文、结构化搜索它通常用于索引和搜索大容量的日志数据也可用于搜索许多不同类型的文档。 KiabanaKibana 通常与 Elasticsearch 一起部署Kibana 是 Elasticsearch 的一个功能强大的数据可视化 DashboardKibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据可以用来汇总、分析和搜索重要数据。 Logstash作为数据收集引擎。 它支持动态的从各种数据源搜集数据并对数据进行过滤、分析、丰富、统一格式等操作然后存储到用户指定的位置一般会发送给 Elasticsearch。 Logstash 由 Ruby 语言编写运行在 Java 虚拟机JVM上是一款强大的数据处理工具 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能常用于日志处理。
可以添加的其它组件
Filebeat轻量级的开源日志文件数据搜集器。 通常在需要采集数据的客户端安装 Filebeat并指定目录与日志格式Filebeat 就能快速收集数据并发送给 logstash 进行解析或是直接发给 Elasticsearch 存储性能上相比运行于 JVM 上的 logstash 优势明显是对它的替代。常应用于 EFLK 架构当中。
filebeat 结合 logstash 带来好处
通过 Logstash 具有基于磁盘的自适应缓冲系统该系统将吸收传入的吞吐量从而减轻 Elasticsearch 持续写入数据的压力从其他数据源例如数据库S3对象存储或消息传递队列中提取将数据发送到多个目的地例如S3HDFSHadoop分布式文件系统或写入文件使用条件数据流逻辑组成更复杂的处理管道
为什么要使用 ELK
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷性能安全性从而及时采取措施纠正错误。往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理例如开源的syslog将所有服务器上的日志收集汇总。集中化管理日志后日志的统计和检索又成为一件比较麻烦的事情一般我们使用 grep、awk和wc等Linux命令能实现检索和统计但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。一般大型系统是一个分布式部署的架构不同的服务模块部署在不同的服务器上问题出现时大部分情况需要根据问题暴露的关键信息定位到具体的服务器和服务模块构建一套集中式日志系统可以提高定位问题的效率。
缓存和Fluentd 缓存/消息队列redis、kafka、RabbitMQ等可以对高并发日志数据进行流量削峰和缓冲这样的缓冲可以一定程度的保护数据不丢失还可以对整个架构进行应用解耦。 Fluentd是一个流行的开源数据收集器。 由于 logstash 太重量级的缺点Logstash 性能低、资源消耗比较多等问题随后就有 Fluentd 的出现。相比较 logstashFluentd 更易用、资源消耗更少、性能更高在数据处理上更高效可靠受到企业欢迎成为 logstash 的一种替代方案常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案。在 Kubernetes 集群中一般是通过 DaemonSet 来运行 Fluentd以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。 它通过获取容器日志文件、过滤和转换日志数据然后将数据传递到 Elasticsearch 集群在该集群中对其进行索引和存储。
完整日志系统基本特征
收集能够采集多种来源的日志数据传输能够稳定的把日志数据解析过滤并传输到存储系统存储存储日志数据分析支持 UI 分析警告能够提供错误报告监控机制
ELK 的工作原理
在所有需要收集日志的服务器上部署Logstash或者先将日志进行集中化管理在日志服务器上在日志服务器上部署 Logstash。Logstash 收集日志将日志格式化并输出到 Elasticsearch 群集中。Elasticsearch 对格式化后的数据进行索引和存储。Kibana 从 ES 群集中查询数据生成图表并进行前端数据的展示。
总结logstash作为日志搜集器从数据源采集数据并对数据进行过滤格式化处理然后交由Elasticsearch存储kibana对日志进行可视化处理。
部署Elasticsearch
Elasticsearch 服务器最好2-3台内存需要4G以上最好6G
192.168.242.66
192.168.242.67Apache和Kibana可以部署在任意节点
192.168.242.68jdk环境和防火墙配置
systemctl stop firewalld
systemctl disable firewalld
setenforce 0vim /etc/selinux/configSELINUXdisabled###设置Java环境
###Kibana 、Elasticsearch 都需要jdk环境java -version #如果没有安装yum -y install javaopenjdk version 1.8.0_131
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)###注如果版本号后面有其他东西最好重装jdk环境安装Elasticsearch 三类节点 master - 主节点 主要功能维护元数据管理集群节点状态不负责数据写入和查询。配置要点内存可以相对小一些但是机器一定要稳定最好是独占的机器 data - 数据节点 主要功能负责数据的写入与查询压力大配置要点大内存最好是独占的机器 client - 客户端节点 主要功能负责任务分发和结果汇聚分担数据节点压力配置要点大内存最好是独占的机器
### 安装 elasticsearch—rpm 软件###上传elasticsearch-6.7.2.rpm到/opt目录下cd /opt
rpm -ivh elasticsearch-6.7.2.rpm修改配置文件
###修改elasticsearch主配置文件##备份配置文件
cp /etc/elasticsearch/elasticsearch.yml{,.bak}vim /etc/elasticsearch/elasticsearch.yml--17--取消注释指定集群名字
cluster.name: my-elk-cluster--23--取消注释指定节点名字
Node1节点为node1Node2节点为node2
node.name: node1##配置节点类型
node.master: true #是否master节点false为否
node.data: true #是否数据节点false为否--33--取消注释指定数据存放路径
path.data: /var/lib/elasticsearch--37--取消注释指定日志存放路径
path.logs: /var/log/elasticsearch--43--取消注释避免es使用swap交换分区
bootstrap.memory_lock: true--55--取消注释设置监听地址0.0.0.0代表所有地址
network.host: 0.0.0.0--59--取消注释ES 服务的默认监听端口为9200
http.port: 9200
#指定es集群提供外部访问的接口
transport.tcp.port: 9300
#指定es集群内部通信接口--68--取消注释集群发现通过单播实现指定要发现的节点
discovery.zen.ping.unicast.hosts: [192.168.242.66:9300, 192.168.242.67:9300]##过滤配置文件中的注释项看的更清除
grep -v ^# /etc/elasticsearch/elasticsearch.ymlcluster.name: my-elk-cluster
node.name: node01
node.master: true
node.data: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: [192.168.242.66:9300, 192.168.242.67:9300]优化内存参数
###es 性能调优参数
#优化最大内存大小和最大文件描述符的数量##用户级别的配置
vim /etc/security/limits.conf
......
* soft nofile 65536
* hard nofile 65536
* soft nproc 32000
* hard nproc 32000
* soft memlock unlimited
* hard memlock unlimited##系统级别的配置
vim /etc/systemd/system.confDefaultLimitNOFILE65536
DefaultLimitNPROC32000
DefaultLimitMEMLOCKinfinity##配置完成后重启虚拟机
reboot优化elasticsearch用户拥有的内存权限
由于ES构建基于lucene, 而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据以提供快速的查询性能。lucene的索引文件segements是存储在单文件中的并且不可变对于OS来说能够很友好地将索引文件保持在cache中以便快速访问因此我们很有必要将一半的物理内存留给lucene ; 另一半的物理内存留给ESJVM heap )。所以 在ES内存设置方面可以遵循以下原则 当机器内存小于64G时遵循通用的原则50%给ES50%留给操作系统供lucene使用当机器内存大于64G时遵循原则建议分配给ES分配 4~32G 的内存即可其它内存留给操作系统供lucene使用
##ES内存设置vim /etc/sysctl.conf
#一个进程可以拥有的最大内存映射区域数参考数据分配 2g/2621444g/41943048g/8388608vm.max_map_count262144##加载配置查看配置文件sysctl -p
sysctl -a | grep vm.max_map_count启动程序并测试效果
###启动elasticsearch是否成功开启systemctl start elasticsearch.service
systemctl enable elasticsearch.service
netstat -antp | grep 9200###查看节点信息浏览器访问 http://192.168.242.66:9200 、 http://192.168.242.67:9200##查看节点 Node1、Node2 的信息###浏览器访问 http://192.168.242.66:9200/_cluster/health?pretty http://192.168.242.67:9200/_cluster/health?pretty###查看群集的健康情况可以看到 status 值为 green绿色 表示节点健康运行。###浏览器访问 http://192.168.242.66:9200/_cluster/state?pretty
##检查群集状态信息使用上述方式查看群集的状态对用户并不友好可以通过安装 Elasticsearch-head 插件可以更方便地管理群集
安装 Elasticsearch-head 插件
Elasticsearch 在 5.0 版本后Elasticsearch-head 插件需要作为独立服务进行安装需要使用npm工具NodeJS的包管理工具安装。安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。node是一个基于 Chrome V8 引擎的 JavaScript 运行环境。phantomjs是一个基于 webkit 的JavaScriptAPI可以理解为一个隐形的浏览器任何基于 webkit 浏览器做的事情它都可以做到
###编译安装 node
###上传软件包 node-v8.2.1.tar.gz 到/opt##安装依赖包
yum install gcc gcc-c make -ycd /opt
tar zxvf node-v8.2.1.tar.gzcd node-v8.2.1/./configure
make -j2 make install###安装 phantomjs
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2cd /opt/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin###安装 Elasticsearch-head 数据可视化工具#上传软件包 elasticsearch-head-master.zip 到/optcd /opt
unzip elasticsearch-head-master.zip
cd /opt/elasticsearch-head/
npm install //安装依赖包###修改 Elasticsearch 主配置文件vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true
#开启跨域访问支持默认为 falsehttp.cors.allow-origin: *
#指定跨域访问允许的域名地址为所有systemctl restart elasticsearch###启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务进程会读取该目录下的 gruntfile.js 文件否则可能启动失败。cd /usr/local/src/elasticsearch-head/npm run start elasticsearch-head0.0.0 start /usr/local/src/elasticsearch-headgrunt serverRunning connect:server (connect) task
Waiting forever...
Started connect web server on http://localhost:9100###elasticsearch-head 监听的端口是 9100netstat -natp |grep 9100###通过 Elasticsearch-head 查看 Elasticsearch 信息###通过浏览器访问 http://192.168.242.66:9100/ 地址并连接群集。
如果看到群集健康值为 green 绿色代表群集很健康。插入索引
###插入索引###通过命令插入一个测试索引索引为 index-demo类型为 test。curl -X PUT localhost:9200/index-demo/test/1?prettypretty -H content-Type: application/json -d {user:zhangsan,mesg:hello world}###输出结果如下{
_index : index-demo,
_type : test,
_id : 1,
_version : 1,
result : created,
_shards : {
total : 2,
successful : 2,
failed : 0
},
created : true
} ###浏览器访问 http://192.168.242.66:9100/
查看索引信息可以看见索引默认被分片5个并且有一个副本。点击“数据浏览”会发现在node1上创建的索引为index-demo类型为 test 的相关信息部署Logstash 在 Nginx节点上操作
软件安装
###更改主机名
hostnamectl set-hostname ELK-log
su###安装nginx服务##nginx在线源vim /etc/yum.repos.d/nginx.repo[nginx]
namenginx repo
baseurlhttp://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck1
enabled1
gpgkeyhttps://nginx.org/keys/nginx_signing.key
module_hotfixestrueyum -y install nginxsystemctl start nginx###安装jdkjava -version ##查看jdk版本##没有就安装
yum -y install java###安装logstash#上传软件包 logstash-6.7.2.rpm 到/opt目录下
cd /optrpm -ivh logstash-6.7.2.rpm
systemctl start logstash.service
systemctl enable logstash.serviceln -s /usr/share/logstash/bin/logstash /usr/local/bin/测试 Logstash Logstash 命令常用选项 -f通过这个选项可以指定 Logstash 的配置文件根据配置文件配置 Logstash 的输入和输出流。 -e从命令行中获取输入、输出后面跟着字符串该字符串可以被当作 Logstash 的配置如果是空则默认使用 stdin 作为输入stdout 作为输出。 -t测试配置文件是否正确然后退出。 -w指定 filter线程数量默认线程数位5 -l指定日志文件名称 定义输入和输出流 #输入采用标准输入输出采用标准输出类似管道 新版本默认使用 rubydebug 格式输出
logstash -e input { stdin{} } output { stdout{} }###使用 rubydebug 输出详细格式显示codec 为一种编解码器logstash -e input { stdin{} } output { stdout{ codecrubydebug } }
......
www.baidu.com
#键入内容标准输入{timestamp 2020-12-22T02:15:39.136Z, #输出结果标准输出处理后的结果version 1,host apache,message www.baidu.com
}###使用 Logstash 将信息写入 Elasticsearch 中logstash -e input { stdin{} } output { elasticsearch { hosts[192.168.242.66:9200] } }
输入 输出 对接......
www.baidu.com
#键入内容标准输入www.sina.com.cn
#键入内容标准输入www.google.com
#键入内容标准输入###结果不在标准输出显示而是发送至 Elasticsearch 中
可浏览器访问 http://192.168.242.66:9100/ 查看索引信息和数据浏览定义 logstash配置文件
Logstash 配置文件基本由三部分组成
input、output 以及 filter可选根据需要选择使用。input表示从数据源采集数据常见的数据源如Kafka、日志文件等
file beats kafka redis stdinfilter表示数据处理层包括对数据进行格式化处理、数据类型转换、数据过滤等支持正则表达式
grok
对若干个大文本字段进行再分割成一些小字段 (?字段名正则表达式) 字段名: 正则表达式匹配到的内容date 对数据中的时间格式进行统一和格式化
mutate 对一些无用的字段进行剔除或增加字段
mutiline 对多行数据进行统一编排多行合并或拆分output表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。
elasticsearch stdout #格式如下
input {...}
filter {...}
output {...}###例子
###在每个部分中也可以指定多个访问方式。例如若要指定两个日志来源文件则格式如下
input {file { path /var/log/messages type syslog}file { path /var/log/httpd/access.log type apache}
}###修改 Logstash 配置文件让其收集系统日志/var/log/messages并将其输出到 elasticsearch 中。chmod r /var/log/messages
#让 Logstash 可以读取日志cd /etc/logstash/conf.d/vim system.conf###输入设置input {file{path /var/log/messagestype systemstart_position beginning# ignore_older 604800sincedb_path /etc/logstash/sincedb_path/log_progressadd_field {log_hostname${HOSTNAME}}}
}###输入设置配置说明#path表示要收集的日志的文件位置#type是输入ES时给结果增加一个叫type的属性字段#start_position可以设置为beginning或者endbeginning表示从头开始读取文件end表示读取最新的这个要和ignore_older一起使用#ignore_older表示了针对多久的文件进行监控默认一天单位为秒可以自己定制比如默认只读取一天内被修改的文件#sincedb_path表示文件读取进度的记录每行表示一个文件每行有两个数字第一个表示文件的inode第二个表示文件读取到的位置byteoffset。
默认为$HOME/.sincedb*#add_field增加属性。
这里使用了${HOSTNAME}即本机的环境变量如果要使用本机的环境变量那么需要在启动命令上加--alow-env###输出配置output {elasticsearch { #输出到 elasticsearchhosts [192.168.242.66:9200,192.168.242.67:9200]#指定 elasticsearch 服务器的地址和端口index system-%{YYYY.MM.dd} #指定输出到 elasticsearch 的索引格式}
}output {elasticsearch { hosts [192.168.242.66:9200,192.168.242.67:9200]index system-%{YYYY.MM.dd} }
}###创建日志文件mkdir /etc/logstash/sincedb_path/
touch /etc/logstash/sincedb_path/log_progress
chown logstash:logstash /etc/logstash/sincedb_path/log_progresslogstash -f system.conf##浏览器访问 http://192.168.242.66:9100/
##查看索引信息部署Kiabana
###安装 Kiabana#上传软件包 kibana-6.7.2-x86_64.rpm 到/opt目录cd /opt
rpm -ivh kibana-6.7.2-x86_64.rpm修改配置文件
###设置 Kibana 的主配置文件vim /etc/kibana/kibana.yml--2--取消注释Kiabana 服务的默认监听端口为5601
server.port: 5601--7--取消注释设置 Kiabana 的监听地址0.0.0.0代表所有地址
server.host: 0.0.0.0--28--取消注释配置es服务器的ip
如果是集群则配置该集群中master节点的ip
elasticsearch.url: [http://192.168.242.66:9200,http://192.168.242.67:9200] --37--取消注释设置在 elasticsearch 中添加.kibana索引
kibana.index: .kibana--96--取消注释配置kibana的日志文件路径需手动创建不然默认是messages里记录日志
logging.dest: /var/log/kibana.log###创建日志文件启动 Kibana 服务touch /var/log/kibana.logchown kibana:kibana /var/log/kibana.logsystemctl start kibana.service
systemctl enable kibana.servicenetstat -natp | grep 5601验证实验
###验证 Kibana##浏览器访问 http://192.168.242.68:5601第一次登录需要添加一个 Elasticsearch 索引--》Management
--》Index Pattern
--》Create index pattern
Index pattern 输入system-* 、
#在索引名中输入之前配置的 Output 前缀“system”--》Next step
--》Time Filter field name
--》选择 timestamp
--》Create index pattern单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示在“Available Fields”中的“host”然后单击 “add”按钮可以看到按照“host”筛选后的结果添加nginx日志
###修改配置文件vim /etc/logstash/conf.d/nginx_log.confinput {file{path /var/log/nginx/access.logtype accessstart_position beginning}file{path /var/log/nginx/error.logtype errorstart_position beginning}
}output {if [type] access {elasticsearch {hosts [192.168.242.66:9200,192.168.242.67:9200]index nginx_access-%{YYYY.MM.dd}}}if [type] error {elasticsearch {hosts [192.168.242.66:9200,192.168.242.67:9200]index nginx_error-%{YYYY.MM.dd}}}
}cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf####浏览器访问 http://192.168.242.66:9100 查看索引是否创建###浏览器访问 http://192.168.242.66:5601 登录 Kibana--》单击“Index Pattern
--》Create Index Pattern”按钮添加索引
--》在索引名中输入之前配置的 Output 前缀 apache_access-*
--》并单击“Create”按钮。在用相同的方法添加 apache_error-*索引。--》选择“Discover”选项卡
--》在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引
可以查看相应的图表及日志信息
