南昌谁做网站设计,wordpress 函数,制作做网站的基本流程,爱空间家装公司电话前言#xff1a;大概一年多前写过一个部署ELK系列的博客文章#xff0c;前不久刚好在部署一个ELK的解决方案#xff0c;我顺便就把一些基础的部分拎出来#xff0c;再整合成一期文章。大概内容包括#xff1a;搭建ELK集群#xff0c;以及写一个简单的MQ服务。如果需要看一…前言大概一年多前写过一个部署ELK系列的博客文章前不久刚好在部署一个ELK的解决方案我顺便就把一些基础的部分拎出来再整合成一期文章。大概内容包括搭建ELK集群以及写一个简单的MQ服务。如果需要看一年多之前写的文章可以详见下列文章链接例如部署成Windows服务、配置浏览器插件、logstash接收消费者数据等该篇文章不再重复描述可以点击下方链接自行参考ElasticSearch、head-master、Kibana环境搭建https://www.cnblogs.com/weskynet/p/14853232.html给ElasticSearch添加SQL插件和浏览器插件https://www.cnblogs.com/weskynet/p/14864888.html使用Logstash通过Rabbitmq接收Serilog日志到EShttps://www.cnblogs.com/weskynet/p/14952649.html使用nssm工具将ES、Kibana、Logstash或者其他.bat文件部署为Windows后台服务的方法https://www.cnblogs.com/weskynet/p/14961565.html安装包目录将有关环境解压备用。如图说明集群环境下使用4 个elasticsearch 数据库。其中三个为master,分别可用于选举主节点、存储数据使用另外一个为client仅作为es 的负载均衡使用。如果服务器配置环境太低的情况下client 也可以不需要不会产生影响如果访问会比较频繁建议可以加上。以下配置操作均以使用31 的集群策略进行配置。各个环境/安装包说明Elasticsearch:主要用来存储数据的一个非关系型文档数据库基于lucene 内核的搜索引擎可以实现快速搜索数据的目的。一般用来存储日志数据比较常见。Logstash:用于收集数据的管道 例如此处用来收集消息队列的数据进行转储到elasticsearch 里面。Kibana一个可视化的搜索引擎组件用来查询elasticsearch 的数据和展示使用。OpenJDK:非官方版本的JDK 环境此处使用的是华为镜像下的定制过的open JDK 19 版本。Elasticsearch-analisis-ik: 一个中文分词工具用于搜索引擎内搜索词汇时候可以对词汇进行归集处理而不至于导致搜索出来的结果是模糊查询。例如如果没有分词输入“大佬”进行查询会把有“大”和“佬”的结果都查询出来。而实际上我们需要查的是“大佬”这个词。IK 分词的目的就是这个作用。Elasticsearch-sql: 一款用于提供SQL 语句进行查询的工具。Sqlsite:一款浏览器插件用来集成到谷歌内核的浏览器上可以通过sql 语句进行查询es 的数据集。Otp_win64_xx : rabbitmq 环境的erlang 语言包环境安装rabbitmq 服务之前需要先安装该包Rabbitmq-server: rabbitmq 安装包JDK 环境配置把解压缩的open jdk 的bin 目录添加到【系统变量】的环境变量Path 里面去。打开cmd输入java --version 查看版本提示版本正确说明JDK 环境配置OK RabbitMQ 环境配置安装Otp 语言包全部默认下一步到头简单粗暴。如果有提示确认的勾选确认即可。安装RabbitMQ 服务安装包同上直接下一步到底完成。备注安装rabbitmq 对应的服务器主机服务器【主机的名称】和【用户名称】不能有中文字符不能有中文字符不能有中文字符重要的事情说三遍我年轻时候踩过坑。配置环境变量。先新增一个ERLANG_HOME路径是安装erlang的目录环境变量的Path 里面新增ERLANG_HOME 的bin 目录新增RabbitMQ 服务的变量RABBITMQ_SERVER值是rabbitmq 服务的安装目录把rabbitmq 的sbin 目录加入到path 环境变量里面去打开cmd输入 rabbitmq-plugins enable rabbitmq_management 进行安装RabbitMQ-Plugins 的插件设置好以后打开浏览器在服务器上输入访问http://127.0.0.1:15672使用guest 账号进行登录进去以后找到Admin 菜单新增一个用户。此处用户默认为admin密码默认为admin。也可以设为其他的设为其他的。最后点击set 旁边的Admin再点击左下角的Add User进行添加一个我们的用户。不建议使用guest 用户直接做消息队列的处理可能有安全风险默认添加完成以后是没有权限的需要进一步进行添加权限。点击表格下的Name字段会自动进入到设置权限页面。啥也不干直接点下方第一个按钮【Set permission】即可返回Admin 菜单下可以看到admin 用户的黄色底色已经没有了并且access 权限也变成了/Elasticsearch 配置文件elasticsearch.yml 说明【以下内容摘自网络,如果不想科普可以跳过该部分】cluster.name: elasticsearch配置的集群名称默认是elasticsearches 服务会通过广播方式自动连接在同一网段下的es服务通过多播方式进行通信同一网段下可以有多个集群通过集群名称这个属性来区分不同的集群。node.name: node-01当前配置所在机器的节点名你不设置就默认随机指定一个name 列表中名字该name 列表在es 的jar 包中config 文件夹里name.txt 文件中其中有很多作者添加的有趣名字。当创建ES 集群时保证同一集群中的cluster.name 名称是相同的node.name 节点名称是不同的node.master: true指定该节点是否有资格被选举成为node注意这里只是设置成有资格 不代表该node 一定就是master默认是truees 是默认集群中的第一台机器为master如果这台机挂了就会重新选举master。node.data: true指定该节点是否存储索引数据默认为true。index.number_of_shards: 5设置默认索引分片个数默认为5 片。index.number_of_replicas: 1设置默认索引副本个数默认为1 个副本。如果采用默认设置而你集群只配置了一台机器那么集群的健康度为yellow也就是所有的数据都是可用的但是某些复制没有被分配健康度可用curl localhost:9200/_cat/health?v 查看 分为绿色、黄色或红色。绿色代表一切正常集群功能齐全黄色意味着所有的数据都是可用的但是某些复制没有被分配红色则代表因为某些原因某些数据不可用path.conf: /path/to/conf设置配置文件的存储路径默认是es 根目录下的config 文件夹。path.data: /path/to/data设置索引数据的存储路径默认是es 根目录下的data 文件夹可以设置多个存储路径用逗号隔开例path.data: /path/to/data1,/path/to/data2path.work: /path/to/work设置临时文件的存储路径默认是es 根目录下的work 文件夹。path.logs: /path/to/logs设置日志文件的存储路径默认是es 根目录下的logs 文件夹path.plugins: /path/to/plugins设置插件的存放路径默认是es 根目录下的plugins 文件夹, 插件在es 里面普遍使用用来增强原系统核心功能。bootstrap.mlockall: true设置为true 来锁住内存不进行swapping。因为当jvm 开始swapping 时es 的效率会降低所以要保证它不swap可以把ES_MIN_MEM 和ES_MAX_MEM 两个环境变量设置成同一个值并且保证机器有足够的内存分配给es。同时也要允许elasticsearch 的进程可以锁住内存linux 下启动es 之前可以通过ulimit -l unlimited命令设置。network.bind_host: 192.168.0.1设置绑定的ip 地址可以是ipv4 或ipv6 的默认为0.0.0.0绑定这台机器的任何一个ip。network.publish_host: 192.168.0.1设置其它节点和该节点交互的ip 地址如果不设置它会自动判断值必须是个真实的ip 地址。(可以用不配)network.host: 192.168.0.1这个参数是用来同时设置bind_host 和publish_host 上面两个二手手机参数。(低版本时配置0.0.0.0不然启动会报错。1.7.1 和1.3.1 版本亲测)transport.tcp.port: 9300设置节点之间交互的tcp 端口默认是9300。如我搭建多节点我的配置分别是9300、9302、9304transport.tcp.compress: true设置是否压缩tcp 传输时的数据默认为false不压缩。http.port: 9200设置对外服务的http 端口默认为9200。http.max_content_length: 100mb设置内容的最大容量默认100mbhttp.enabled: false是否使用http 协议对外提供服务默认为true开启。gateway.type: localgateway 的类型默认为local 即为本地文件系统可以设置为本地文件系统分布式文件系统hadoop 的HDFS和amazon 的s3 服务器等。gateway.recover_after_nodes: 1设置集群中N 个节点启动时进行数据恢复默认为1。gateway.recover_after_time: 5m设置初始化数据恢复进程的超时时间默认是5 分钟。gateway.expected_nodes: 2设置这个集群中节点的数量默认为2一旦这N 个节点启动就会立即进行数据恢复。cluster.routing.allocation.node_initial_primaries_recoveries: 4初始化数据恢复时并发恢复线程的个数默认为4。cluster.routing.allocation.node_concurrent_recoveries: 2添加删除节点或负载均衡时并发恢复线程的个数默认为4。indices.recovery.max_size_per_sec: 0设置数据恢复时限制的带宽如入100mb默认为0即无限制。indices.recovery.concurrent_streams: 5设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数默认为5。discovery.zen.minimum_master_nodes: 1设置这个参数来保证集群中的节点可以知道其它N 个有master 资格的节点。默认为1对于大的集群来说可以设置大一点的值2-4discovery.zen.ping.timeout: 3s设置集群中自动发现其它节点时ping 连接超时时间默认为3 秒对于比较差的网络环境可以高点的值来防止自动发现时出错。discovery.zen.ping.multicast.enabled: false设置是否打开多播发现节点默认是true。discovery.zen.ping.unicast.hosts: [host1, host2:port, host3[portX-portY]]设置集群中master 节点的初始列表可以通过这些节点来自动发现新加入集群的节点。例如discovery.zen.ping.unicast.hosts: [127.0.0.1:9300,127.0.0.1:9302,127.0.0.1:9304] 配置了三个节点 ES 集群配置文件配置集群配置采用31 的部署方案包括3 个可选主节点以及1 个客户端节点。其中:cluster.name 的值保持一致node.name 的值可自定义此处默认可以成为主节点的节点名称为master1 master2和master3path.data 和path.log 用来存储es 节点存储的数据和自身日志的路径使用。path.data 的值不能一样不同的节点存储的地址需要分开否则会报错。data 路径用于存放我们发送给es 的数据所存储的路径位置。http.port 默认为9200用于外部访问es 使用四个节点端口号此处分别设置为9200、9201、9202、9203。其中9203 端口号用于分配给client 使用。transport.tcp.port 默认为9300用于内部集群间通信使用四个节点端口号此处分别设置为93009301930292303。其中9303 用于client 节点使用。discovery.seed_hosts 记录的是这四个集群节点的内部通信地址我本地局域网内的一台服务器为10.1.11.74所以我此处为了好分辨就全部写成10.1.11.74 的地址。生产环境下可以根据实际情况修改为生产环境的ip 地址。警告如果es 部署在同一个服务器上请默认使用127.0.0.1 这个ip其他ip 可能会受到防火墙限制。例如上面我写的10.1.11.74 的ip后面就会有集群关连失败的情况。cluster.initial_master_nodes 此处默认主节点设置为master1当然也可以设为master2或者3但是不能是client因为client 不能当做主节点。node.master 和node.data31 集群模式下【master 节点的值全是true】【client节点的值全是false】。以下是我先前做的一个master1 的配置文件截图以下是master2 的配置文件截图可以和以上的master1 的配置文件进行比对查看不同点。master3 节点以此类推。以下是client 节点的配置文件截图可以和master 节点进行比较差异点。Client 节点不进行主节点的选举也不进行存储数据仅用于负载均衡用于对3 个主要节点进行压力分解的作用使用。Jvm.options 环境配置Jvm.options 文件在config 文件夹下该路径下用来配置单个ES 的内存分配规则。最低可以配置512m最高32g 此处以最高和最低内存使用量都是512m 来配置公司云服务器配置太低没办法~。如果是g 为单位注意都是小写并且不带b,例如Xms512m Xmx4g 等等。Xms 代表最低分配内存Xmx 代表最大分配内存。以此类推把4 个es 的内存都设置一下。警告以上512m 只是因为我本地的局域网内的服务器上的配置比较低所以在生产环境下请配置大一点例如一台64GB 内存的服务器以31 部署模式进行部署的情况下最大可以对每个节点分配(64/2)/5 ≈ 6g 的最大值其中5 代表的是4 台es 和一台logstash。ELK 的总内存最大占用建议不要超过服务器总内存的一半留点面子。 通过bat 文件启动es 集群进行初始验证进入到四个es 的根目录下(esxxx/bin)打开cmd,执行elasticsearch.bat 文件启动以后浏览器输入localhost:端口号例如master1 的端口号是9200启动成功会有一段简单的提示信息包括节点名称、集群名称es 版本等等四个es 都启动成功以后浏览器输入http://localhost:9200/_cat/nodes?v可以看到集群内部的活动以及主节点信息。当然上面的ip 和端口号改成任意集群内的一个节点的地址都可以查出来。其中master1 为现在的主节点。做个测试测试主节点宕机以后的效果。以下内容仅用于测试观看可以直接跳过停止master1 节点看看情况。刷新一下页面可以看到少了一个master1然后master3 被自动选举为主节点。重新启动master1 节点看下效果。如图所示master1 自动成为了子节点这个就是集群的魅力挂了一个一点都不慌。 集成sql 插件和ik 插件在所有的es 的plugins 文件夹下新建两个文件夹分别是sql 和ik把ik 解压后的内容全部拷贝到各个es 都ik 文件夹下FromTo:ik 说明如果有某个关键词汇查不出来就可以在ik 分词里面进行新增例如“老吴”。新增说明在ik 的config 目录下任意找一个词字典在最后进行添加有关词汇。把sql 解压后的内容全部拷贝到各个es 都sql 文件夹下FromTo:添加完成以后通过bat 启动时候可以看到有关的加载信息logstash 的jvm 配置Logstash 的jvm 配置同elasticsearch 配置也需要配置最大内存和最小内存的临界值。此处写的是2g,我改为了512m(自行根据个人服务器配置进行设置)logstash 的config 配置文件设置config 文件用于指定logstash 使用何种方式进行监听数据流的输入和输出功能当前使用监听RabbitMQ 的方式来监听日志数据流然后进行转存到ElasticSearch 数据库上。以下截图为预设置的配置文件接收端(config 目录下的rabbitmq.conf 文件)预设三个监听数据来源的队列信息。采用direct 模式并且指定不同的日志内容走不同的队列例如我之前项目上使用的WCSLog、DeviceLog、ApiLog 等配置信息可以当做参考。以下截图配置的是每天新增一个索引分别以sys、device、api 开头。注意事项RabbitMQ 里面必须已经存在以上的队列以后才可以启动logstash否则会启动失败。正确做法是先启动你的程序初始化一下或者创建一下MQ 有关的队列信息以后再启动Logstash。 Kinaba 配置打开kibana 根目录下的config 文件夹下面的kibana.yml 配置文件进行配置。Kibana 配置比较简单此处只配置三个地方其中server.port 是对外开放的端口号默认是5601此处改成了15601防止被人随意登录。然后是es.hosts,有多少es 的节点就都配上去。还一个是il8n.locale 是默认的语言类型默认是en 英语此处我们改为zh-CN 中文。本公众号文章原文地址是https://www.cnblogs.com/weskynet/p/16890741.html如果公众号内显得图片比较小也可以转场去网上看博客原文。快速开发MQ生产者和消费者基础服务新建一个webapi项目进行测试。并添加引用Wesky.Infrastructure.MQ其中这个包是我写的一个比较通用的基于DIRECT模式的简易版MQ生产者和消费者基础功能服务也可以直接拿来做MQ的业务对接开发。然后在program.cs里面添加对WeskyMqService的注册里面注册了基础的生产者和消费者服务。 咱新增一个消费者消息消费的方法ConsumeMessage以及有关interface接口该方法后面用来当作回调函数使用用来传给MQ消费者当监听到消息以后会进入到该方法里面。 再然后回到program里面对刚才新增的方法进行依赖注入的注册以及在里面做一个简单的MQ队列的配置信息。 其中RabbitMqOptions构造函数带有两个参数分别是RabbitMqConfiguration:它传入MQ的连接RabbitMqMessageQueues[]:路由键以及对应的队列名称数组有多少个队列数组元素就是多少个一一对应。以上创建了基础的连接通过direct模式进行消息订阅和发布并且创建两个队列分别是Test1和Test2再然后新建一个API控制器并提供有关依赖注入进行实现的验证。为了方便测试新增两个api接口用来检测MQ的连接以及消息发布和订阅。 其中index此处的作用是咱们配置的消息队列的队列数组里面的下标。连接参数isActive代表是否消费者消费消息如果不消费消息那么就可以用来给我们上面的logstash来消费了如果消费消息那么消息就会进入到我们刚才创建的ConsumeMessage方法里面去因为它通过回调函数参数丢进去了打开MQ面板可以看到现在是都没有队列存在的。 此时启动程序先调用连接的API(API里面包括了生产者连接和消费者连接平常如果只需要连接一个也是可以屏蔽其他的例如与第三方MQ做信息通信的话)再调用发布消息的API查看效果。咱先做一个不消费(允许消费参数设为false)的例子 然后再查看MQ面板可以看到多了两个队列这两个队列就是代码里面连接以后自动创建的 调用生产者发布一条消息例如发给数组的第一个队列一条消息 因为不允许消费所以消息会一直在队列里面没有被消费掉我们先关闭api程序然后重新做个连接做成允许消费的看下效果 再切换到MQ面板可以看到消息立马被消费了 我们刚才写的一个输出控制台的消费消息的业务方法此时也被执行了以上说明MQ的生产者与消费者服务是OK的了。然后就可以与上面的EKL集群进行配合使用例如你的程序需要通过MQ的方式给Logstash发送消息那么就可以使用传入不启用MQ客户端消费的功能来实现如果需要与其他生产者对接或者需要做MQ消息消费的业务就可以通过类似方式写一个回调函数当作参数丢进MQ消费者服务里面去即可。最后ELK上面我没做其他的优化大佬们感兴趣可以自己优化例如信息的压缩、定时删除等等这些都可以在Kibana的管理界面里面进行配置。如果需要以上的环境全套资源、以及后面的MQ的例子可以扫码关注以下公众号或者搜索【Dotnet Dancer】关注公众号发送【ELKQ】即可获取。公众号聊天框内回复【ELKQ】可以获取的工具环境、内容等见下图
