设为首页 收藏本站

运维网

查看: 593|回复: 1

[经验分享] Logstash收集nginx日志之使用grok过滤插件解析日志

[复制链接]

尚未签到

发表于 2017-12-23 22:22:46 | 显示全部楼层 |阅读模式
  grok作为一个logstash的过滤插件,支持根据模式解析文本日志行,拆成字段。


  • nginx日志的配置:
  

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"';  



  • logstash中grok的正则(添加在logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-xxx/patterns/grok-patterns文件中)为:
  

WZ ([^ ]*)  
NGINXACCESS
%{IP:remote_ip} \- \- \[%{HTTPDATE:timestamp}\] "%{WORD:method} %{WZ:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:status} %{NUMBER:bytes} %{QS:referer} %{QS:agent} %{QS:xforward}  

  logstash的配置为:
  

input {  file {
  path     
=> ["/var/log/nginx/access.log"]  type   
=> "nginxlog"  start_position
=> "beginning"  }
  
}
  

  
filter {  
  grok {  
  match
=> { "message" => "%{NGINXACCESS}" }  }  
  
}
  
output {
  stdout {
  codec   
=> rubydebug  }
  
}
  

  logstash的输出:
  

{"message" => "192.168.154.2 - - [30/Mar/2017:01:27:09 -0700] \"GET /index.html HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36\" \"-\"","@version" => "1","@timestamp" => "2017-03-30T08:27:09.539Z","path" => "/var/log/nginx/access.log","host" => "spark4","type" => "nginxlog","remote_ip" => "192.168.154.2","timestamp" => "30/Mar/2017:01:27:09 -0700","method" => "GET","request" => "/index.html","httpversion" => "1.1","status" => "304","bytes" => "0","referer" => "\"-\"","agent" => "\"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36\"","xforward" => "\"-\""  
}
  

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须注明原文的出处
4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
5、运维网 - 服务您的运维操作管理专家!
6、联系人Email:admin@yunvn.com 网址:www.iyunv.com

点击关注更多内容
累计签到:212 天
连续签到:103 天
发表于 2018-1-26 12:36:54 | 显示全部楼层
Thanks for sharing!!!!!

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须注明原文的出处
4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
5、运维网 - 服务您的运维操作管理专家!
6、联系人Email:admin@yunvn.com 网址:www.iyunv.com

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

关注运维网官方微信X

关注运维网官方微信

扫描二维码关注运维网官方微信,最新一手资源尽在官方微信!快快关注我们吧...

扫描微信二维码查看详情

客服 E-mail:kefu@yunvn.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright © 2012-2018

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up !


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


独家合作伙伴: 青云cloud

快速回复 返回顶部 返回列表