网站推广包年,织梦可以做论坛网站,网站后台编辑器不能正常显示,wordpress关键字过滤概述
本文介绍使用ELK#xff08;elasticsearch、logstash、kibana#xff09; kafka来搭建一个日志系统。主要演示使用spring aop进行日志收集#xff0c;然后通过kafka将日志发送给logstash#xff0c;logstash再将日志写入elasticsearch#xff0c;这样elasticsearc…概述
本文介绍使用ELKelasticsearch、logstash、kibana kafka来搭建一个日志系统。主要演示使用spring aop进行日志收集然后通过kafka将日志发送给logstashlogstash再将日志写入elasticsearch这样elasticsearch就有了日志数据了最后则使用kibana将存放在elasticsearch中的日志数据显示出来并且可以做实时的数据图表分析等等。
详细
本文介绍使用ELKelasticsearch、logstash、kibana kafka来搭建一个日志系统。主要演示使用spring aop进行日志收集然后通过kafka将日志发送给logstashlogstash再将日志写入elasticsearch这样elasticsearch就有了日志数据了最后则使用kibana将存放在elasticsearch中的日志数据显示出来并且可以做实时的数据图表分析等等。
为什么用ELK 以前不用ELK的做法
最开始我些项目的时候都习惯用log4j来把日志写到log文件中后来项目有了高可用的要求我们就进行了分布式部署web这样我们还是用log4j这样的方式来记录log的话那么就有N台机子的N个log目录这个时候查找log起来非常麻烦不知道问题用户出错log是写在哪一台服务器上的后来想到一个办法干脆把log直接写到数据库中去这样做虽然解决了查找异常信息便利性的问题了但存在两个缺陷
1log记录好多表不够用啊又得分库分表了
2连接db如果是数据库异常那边log就丢失了那么为了解决log丢失的问题那么还得先将log写在本地然后等db连通了后再将log同步到db这样的处理办法感觉是越搞越复杂。 现在ELK的做法
好在现在有了ELK这样的方案可以解决以上存在的烦恼首先是使用elasticsearch来存储日志信息对一般系统来说可以理解为可以存储无限条数据因为elasticsearch有良好的扩展性然后是有一个logstash可以把理解为数据接口为elasticsearch对接外面过来的log数据它对接的渠道有kafka有log文件有redis等等足够兼容N多log形式最后还有一个部分就是kibana它主要用来做数据展现log那么多数据都存放在elasticsearch中我们得看看log是什么样子的吧这个kibana就是为了让我们看log数据的但还有一个更重要的功能是可以编辑N种图表形式什么柱状图折线图等等来对log数据进行直观的展现。 ELK职能分工 logstash做日志对接接受应用系统的log然后将其写入到elasticsearch中logstash可以支持N种log渠道kafka渠道写进来的、和log目录对接的方式、也可以对reids中的log数据进行监控读取等等。 elasticsearch存储日志数据方便的扩展特效可以存储足够多的日志数据。 kibana则是对存放在elasticsearch中的log数据进行数据展现、报表展现并且是实时的。
怎样用ELK
首先说明一点使用ELK是不需要开发的只需要搭建环境使用即可。搭建环境可以理解为下载XX软件然后配置下XX端口啊XX地址啊XX日志转发规则啊等等当配置完毕后然后点击XX bat文件然后启动。 Logstash配置
可以配置接入N多种log渠道现状我配置的只是接入kafka渠道。
配置文件在\logstash-2.3.4\config目录下
要配置的是如下两个参数体 input数据来源。 output数据存储到哪里。
input {kafka {zk_connect 127.0.0.1:2181topic_id mylog_topic}
}
filter {#Only matched data are send to output.
}
output {#stdout{}# For detail config for elasticsearch as output, # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.htmlelasticsearch {action index #The operation on EShosts 127.0.0.1:9200 #ElasticSearch host, can be array.index my_logs #The index to write data to.}
}
Elasticsearch配置
配置文件在\elasticsearch-2.3.3\config目录下的elasticsearch.yml可以配置允许访问的IP地址端口等但我这里是采取默认配置。
Kibana配置
配置文件在\kibana-4.5.4-windows\config目录下的kibana.yml可以配置允许访问的IP地址端口等但我这里是采取默认配置。
这里有一个需要注意的配置就是指定访问elasticsearch的地址。我这里是同一台机子做测试所以也是采取默认值了。
# The Elasticsearch instance to use for all your queries.
# elasticsearch.url: http://localhost:9200
关于ELK的配置大致上就这样就可以了当然其实还有N多配置项可供配置的具体可以google。这里就不展开说了。
具体的配置请下载运行环境里面有具体的配置。
和spring aop日志对接
elk环境搭建完毕后需要在应用系统做日志的aop实现。
部分spring配置
aop:aspectj-autoproxy /
aop:aspectj-autoproxy proxy-target-classtrue /!-- 扫描web包应用Spring的注解 --
context:component-scan base-packagecom.demodashicontext:include-filter typeannotation expressionorg.springframework.stereotype.Controller /context:exclude-filter typeannotation expressionjavax.inject.Named /context:exclude-filter typeannotation expressionjavax.inject.Inject /
/context:component-scan
部分java代码 package com.demodashi.aop.annotation;
import java.lang.annotation.*; /** *自定义注解 拦截service */ Target({ElementType.PARAMETER, ElementType.METHOD})
Retention(RetentionPolicy.RUNTIME)
Documented
public interface ServiceLogAnnotation { String description() default ;
}package com.demodashi.aop.annotation;
import java.lang.annotation.*; /** *自定义注解 拦截Controller */ Target({ElementType.PARAMETER, ElementType.METHOD})
Retention(RetentionPolicy.RUNTIME)
Documented
public interface ControllerLogAnnotation { String description() default ;
}
代码截图 日志和kafka、和logstash、elasticsearch、kibana直接的关系
ELKkafka、aop之间的关系
1、aop对日志进行收集然后通过kafka发送出去发送的时候指定了topic在spring配置文件中配置为 topicmylog_topic
2、logstash指定接手topic为 mylog_topic的kafka消息在config目录下的配置文件中有一个input的配置
3、然后logstash还定义了将接收到的kafka消息写入到索引为my_logs的库中output中有定义
4、再在kibana配置中指定要连接那个elasticsearchkibana.yml中有配置默认为本机
5、最后是访问kibana在kibana的控制台中设置要访问elasticsearch中的哪个index。
部署ELK kafka环境
我本机的环境是jdk8.0我记得测试的过程中elasticsearch对jdk有特别的要求必须是jdk7或者以上。
下载运行环境附件并解压后看到如下 这些运行环境在每个软件里面都有具体的启动说明如kafka的目录下这样 按照启动说明的命令来执行即可启动。
这里需要说明一点最先启动应该是zookeeper然后才是其他的其他几个没有严格区分启动顺序。
直接在window下面同一台机子启动即可。除了kibana-4.5.4-windows外其他几个也是可以在linux下运行的。 本文由“未央天际人家账号”发布2023年11月2日
