在团800运维工作总结之haproxy
一下是我在单位对haproxy进行日志分析的一整套流程我们一直都是处在维护es集群的配置，并没有把一整套流程 包括收集端的代码，全部自己搞定一次，而且线上收集日志的时候我们一般都用的logstash，但是业界很多人都说logstash不管是性能上还有稳定性上都不是很好，logstash的优点在于配置简便，这次我选用了rsyslog
今天就这haproxy日志，我把整个流程给大家走一遍，就算是让大家了解下
具体流程如下
haproxy----local2级别----rsyslog----kafka---collector（消费kafka，写到es）---es---kibana展示
1.haproxy的日志默认需要结合rsyslog
配置文件这样的
local2.* /data1/logs/haproxy/haproxy.log
如果我们不用rsyslog，用logstash就会存在这样的情况
我们还是要在input里写/data1/logs/haproxy/haproxy.log这个路径，这样我认为在性能上有很大的影响
但是我们用了rsyslog，rsyslog可以直接从local2级别里直接拆分日志，这块我只是举个例子，rsyslog和logstash的不同在于，rsyslog需要插件，而且rsyslog链接kafka的时候需要v8版本，而且不能yum安装rsyslog，需要编译的时间加载针对kafka的模块
前期准备，我们需要首先让rsyslog能够把数据发送到kafka里
如何让rsyslog支持推送到kafka，步骤如下
/opt/test.sh
## Install rsyslog with omkafka.
## omkafka enables rsyslog to push logs to kafka, a distributed message system.
## see http://www.rsyslog.com/doc/master/configuration/modules/omkafka.html
## This installation use yum to manage packages.
## add rsyslog repo
WORK_DIR=$(pwd)
cd /etc/yum.repos.d
wget http://rpms.adiscon.com/v8-stable/rsyslog.repo -O rsyslog.repo
cd $WORK_DIR
mkdir rsyslog-install
cd rsyslog-install
# check rsyslog version
# rsyslog supports kafka from v8.7.0
old_rsyslog_ver=$(rsyslogd -version |head -n 1 | awk '{print $2}')
## install rsyslog dependency: libestr
yum install -y libestr-devel
## install rsyslog dependency: libee
yum install -y libee-devel
## install rsyslog dependency: json-c
yum install -y json-c-devel
## install rsyslog denpendency: uuid
yum install -y libuuid-devel
## install rsyslog denpendency: liblogging-stdlog
yum install -y liblogging-devel
## install rsyslog denpendency: rst2man
yum install -y python-docutils
## install librdkafka for omkafka
wget https://github.com/edenhill/librdkafka/archive/0.8.5.tar.gz -O librdkafka-0.8.5.tar.gz
tar zxvf librdkafka-0.8.5.tar.gz
cd librdkafka-0.8.5
./configure
make
make install
cd ..
## install rsyslog
wget http://www.rsyslog.com/files/download/rsyslog/rsyslog-8.8.0.tar.gz -O rsyslog-8.8.0.tar.gz
tar zxvf rsyslog-8.8.0.tar.gz
export PKG_CONFIG_PATH=/usr/lib64/pkgconfig:/lib64/pkgconfig/
old_executable_path=$(which rsyslogd)
executable_dir=$(dirname "$old_executable_path")
cd rsyslog-8.8.0
./configure --prefix=/usr/local/rsyslog --sbindir=$executable_dir --libdir=/usr/lib64 --enable-omkafka
make
make install
## show installation result:
new_rsyslog_ver=$(rsyslogd -version |head -n 1 | awk '{print $2}')
echo "Old rsyslogd version: "$old_rsyslog_ver
echo "New rsyslogd version: "$new_rsyslog_ver
echo "Executable: " $(which rsyslogd)
## References:
## http://www.rsyslog.com/doc/master/installation/install_from_source.html
## http://bigbo.github.io/pages/2015/01/21/syslog_kafka/
## http://blog.oldzee.com/?tag=rsyslog
## http://www.rsyslog.com/newbie-guide-to-rsyslog/
## http://www.rsyslog.com/doc/master/configuration/modules/omkafka.html
2.cp ./rsyslog-install/librdkafka-0.8.5/src/librdkafka.so.1 /lib64/
chmod 755 /lib64/librdkafka.so.1
3.cp ./rsyslog-8.8.0/plugins/omkafka/.libs/omkafka.so /lib64/rsyslog/
chmod 755 /lib64/rsyslog/omkafka.so
4.rsyslogd -n 测试rsyslog配置文件是否正确
5. /lib64/rsyslog/下面都是rsyslog所能加载的模块
ok现在我们可以让rsyslog推送到kafka了
我们现在要提前定义好数据推送到es 索引里的字段都有那些，我们根据这些字段对日志进行处理
rsyslog针对haproxy的日志处理，当然我下面贴出的处理方法不是最好的，rsyslog还支持logstash的filter的grok中的pattern,rsyslog有自己类似的插件，用mmnormalize插件更高效
http://set2.exmail.qq.com/cgi-bin/viewfile?f=DFAF6C355BE1606A4A0FE026C5E48770D0B1CFFBC6174CC4830FC741F3E99D1013EFA16C8A1CEB7EDCF6C97BE9079C85866F27CFADEC6D673FAAD970512114170B00BF6470E1142D7BF60CEF9BDF36A8FF2D9FF7F5F84C916014643793FBD7F0&usewmcache=1&sid=vyhifSbSkCMt00gf,7
我们现在已经对日志进行了我们所需要到es里的正确拆分
下面我们就要往kafka里对数据了
local2.*action(type="omkafka" broker="" topic="EAGLEYE_LOG_HAPROXY_CHANNEL" partitions.number="15" confParam=["compression.codec=snappy","s
ocket.keepalive.enable=true"] queue.saveonshutdown="on" queue.size="10000000" queue.type="LinkedList" queue.highwatermark="600000" queue.lowwatermark="20000" queue.discardmark="800000" queue.maxfilesize="1g" queue.maxdiskspace="10g" acti
on.ResumeInterval="10" action.ResumeRetryCount="-1" action.reportSuspension="on" action.reportSuspensionContinuation="on" template="json_lines")
具体这些参数大家可以去官网查看
下面我们去看kafka的topic EAGLEYE_LOG_HAPROXY_CHANNEL是否已经有数据过来了
http://set2.exmail.qq.com/cgi-bin/viewfile?f=DFAF6C355BE1606A4A0FE026C5E48770D0B1CFFBC6174CC4830FC741F3E99D1013EFA16C8A1CEB7EDCF6C97BE9079C85866F27CFADEC6D67E710FDA547FBA17F5ECE28939338A822F94669847E6499846D453087CE2B66877F6A9F17EB1C0E88&usewmcache=1&sid=vyhifSbSkCMt00gf,7
可以看到数据已经写到了kafka中
下面我们就要去编写收集端的代码
说到收集端，实际上就是消费者还有往es里插入
代码我就不贴出来了
大致逻辑是起2个单独的线程 一个线程负责消费kafka，一个线程调用es的api或者restful接口的_bulk方法去批量插入json数据
下面我们再去看es是否已经有数据了
http://set2.exmail.qq.com/cgi-bin/viewfile?f=DFAF6C355BE1606A4A0FE026C5E48770D0B1CFFBC6174CC4830FC741F3E99D1013EFA16C8A1CEB7EDCF6C97BE9079C85866F27CFADEC6D67CFFA9036723A06020D54139057CC7602199CD89FAF2CCD55C84CE4A63B1350262623F3FD0068EECD&usewmcache=1&sid=vyhifSbSkCMt00gf,7
ok现在es集群里也已经有数据了
下面我们去kibana里添加图表
具体如何添加我就不在这里说了，先给大家看些图
kibana图我就不展示了 因为有铭感信息
可以看到总共的请求数 平均响应时间 都有那些ip链接haproxy haproxy都调用了那些ip 那些请求不正常都可以通过图表看到，还有些需求我后续都会加到kibana中
这样整个流程就走下来了，我们现在大部分都是别人给我们提需求，我们只是去配置，但是我们能不能自己给自己提一些需求，自己来去分析一些我们认为有用的日志信息，haproxy日志分析，我认为就是个例子，供大家参考，谢谢
页:
[1]