设为首页 收藏本站

运维网

查看: 246|回复: 1

[经验分享] elk系统搭建并收集nginx日志-主要步骤

[复制链接]

累计签到:1 天
连续签到:1 天
发表于 2017-9-13 10:16:27 | 显示全部楼层 |阅读模式
                      一)简介
    elk系统是一套目前较为流行的日志收集分析系统,主要由elasticserch,logstash,kibana三部分组成,其中elasticsearch负责数据的存储,logstash负责日志的收集过滤,kibana负责日志的可视化部分。整个工作流程为logstash收集日志,过滤后输出并保存到elasticsearch中,最后用户通过kibana从elasticsearch中读取数据并处理。本文中日志收集引入filebeat收集日志,logstash监听在5000端口并接受filebeat传入的日志。

各组件分配如下:

192.168.1.17filebeat
192.168.1.18elk

二)搭建过程
    1.在官方网站下载安装包
https://www.elastic.co/cn/downloads
    2.因为elk依赖java开发环境,所以首先安装jdk
yum install java-1.8.0-openjdk
    3.安装elk(192.168.1.18主机上)
yum install elasticsearch-5.5.2.rpm kibana-5.5.2-x86_64.rpm logstash-5.5.2.rpm
    4.创建elasticsearch数据存储目录并赋予权限
mkdir -p  /data/elasticsearch
chown  elasticsearch.elasticsearch /data/elasticsearch
    5.修改elasticsearch配置文件,更改其中的数据存储路径
vim /etc/elasticsearch/elasticsearch.yml
path.data: /data/elasticsearch
    6.启动elasticsearch服务,并查看9200端口是否处于监听状态
systemctl start elasticsearch
ss  -tnl
    7.修改kibana配置文件,改变其监听的ip地址
vim /etc/kibana/kibana.yml
server.host: "0.0.0.0"  (也可更改为192.168.1.17,此处主要是为了方便访问)
    8.启动kibana服务并查看端口
systemctl start kibana
ss -tnl
    9.在/etc/logstash/conf.d/目录中添加logstash配置文件nginx.conf
input {
            beats {
            port => 5000
            type => "logs"
            }
        }

        filter {
          if [type] == "nginx-all" {
          grok {
          match => [ "message","(?:%{IPORHOST:clientip}|-) - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} \"(?:%{IPV4:http_x_forwarded_for}|-)\"" ]
           }
            geoip {
            source => "clientip"
            add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
            add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]
           }

         mutate {
           convert => [ "[geoip][coordinates]", "float" ]
           convert => [ "response","integer" ]
           convert => [ "bytes","integer" ]
         }

         syslog_pri {}
         date {
               match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
           }
          }
         }

        output {
             elasticsearch {
                 hosts => ["127.0.0.1:9200"]
                 index => "logstash-nginx-access-%{+YYYY.MM.dd}"
             }
             stdout { codec => rubydebug }
          }

        input段:表示监听的端口以及类型
        filter段:
        grok:日志的匹配,数据结构转换,需要根据日志的具体格式进行匹配,匹配格式可以参考https://grokdebug.herokuapp.com/patterns,匹配结果可以在https://grokdebug.herokuapp.com/中进行验证
        geoip:获取ip,以便最后显示地理位置,部分系统可能需要安装geoip
        mutate:数据类型转换
        date:用日志中的时间对timestamp进行转换,若不做转换,在导入老数据的时候系统会根据当前时间排序
        output段:输出到elasticsearch中

    10.启动logstash服务并查看端口
systemctl start logstash
ss -tnl
    11.安装filebeat(192.168.1.17)
yum install filebeat-5.5.2-x86_64.rpm  (包需要提前下载)
    12.修改配置文件/etc/filebeat/filebeat.yml
    filebeat:
        spool_size: 1024
        idle_timeout: 5s
        registry_file: .filebeat
        config_dir: /etc/filebeat/conf.d
    output:
        logstash:
        hosts:
        - 192.168.1.18:5000
        enabled: true
    shipper: {}
    logging: {}
    runoptions: {}

    其中output中host指向logstash

    13.创建/etc/filebeat/conf.d/目录。并添加配置文件nginx.yml
        filebeat:
            prospectors:
                - paths:
                    - /var/log/nginx/access.log
                    encoding: plain
                    fields_under_root: false
                    input_type: log
                    ignore_older: 24h
                    document_type: nginx-all
                    scan_frequency: 10s
                    harvester_buffer_size: 16384
                    tail_files: false
                    force_close_files: false
                    backoff: 1s
                    max_backoff: 1s
                    backoff_factor: 2
                    partial_line_waiting: 5s
                    max_bytes: 10485760

其中path指向需要收集的日志文件,type需要与logstash配置文件中对应

    14.启动filebeat并查看
systemctl start filebeat
netstat -altp|grep filebeat(与logstash建立了连接)

                  


运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须注明原文的出处
4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
5、运维网 - 服务您的运维操作管理专家!
6、联系人Email:[email protected] 网址:www.iyunv.com

点击关注更多内容
您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

关注运维网官方微信X

关注运维网官方微信

扫描二维码关注运维网官方微信,最新一手资源尽在官方微信!快快关注我们吧...

扫描微信二维码查看详情

客服 E-mail:[email protected]

本站由安畅云和青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright © 2012-2017

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up !


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


合作伙伴: 青云cloud 51idc

快速回复 返回顶部 返回列表