ELK的单机安装配置过程

Cnbaby

简介
　　最近在工作中需要对一些日志做分析，于是调研了一些日志记录和分析处理的工具。后面选择了ELK这个套件。ELK是三个开源软件的缩写，分别表示：Elasticsearch, Logstash, Kibana。其中Elasticsearch是用于实现索引和搜索功能目的，Logstash是一个很灵活的日志收集和处理工具。Kibana是和Elasticsearch配套的图形展示界面，用于方便的展示数据和分析数据。本文对整个套件的安装配置过程做一个详细的记录。

环境信息
　　安装配置的环境信息如下：
　　操作系统： Ubuntu 14.04   64bit
　　内存： 4GB
　　CPU： 2
　　具体的安装过程如下：

安装java
　　推荐安装的java版本为java 7及以上，其中java 7的安装可以使用如下命令：

sudo apt-get install openjdk-7-jdk
　　这里安装的是openjdk7。如果需要安装oracle jdk的话，可以使用如下命令：

sudo apt-get install python-software-properties
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
　　这里安装上了oracle jdk的源，然后使用如下命令安装：

sudo apt-get install oracle-java8-installer
　　如果我们需要安装其他版本的jdk只需要将上述命令行里的java8改成对应的版本就可以了，比如java7, java6。

安装elasticsearch
　　执行如下命令下载elasticsearch:

wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.4.zip
　　这里下载的是目前最新的elasticsearch1.4.4。
　　下载到本地之后，将elasticsearch文件包解压到某个目录，假设我们默认解压到当前目录：

tar zxvf elasticsearch-1.4.4.zip
　　打开elasticsearch目录下的config/elasticsearch.yml文件，修改文件里面的内容，保证修改后的文件内容包含如下：

# Disable HTTP completely:
#
http.enabled: true
http.cors.enable: true
　　修改完毕后保存文件。

安装Kibana
　　执行如下命令下载kibana:   

wget https://download.elasticsearch.org/kibana/kibana/kibana-3.0.1.tar.gz
　　下载完毕后执行命令解压缩:

tar zxvf kibana-3.0.1.tar.gz
　　修改kibana文件目录下的config.js:
　　保证文件中有如下内容未被注释：

elasticsearch: "http://"+window.location.hostname+":9200",
　　因为后续需要创建nginx服务器来运行kibana，所以这里先建立一个kibana放到一个合适的目录：

sudo mkdir -p /var/www/kibana3
　　然后将kibana拷贝到指定的目录中：

sudo cp -R ./kibana-3.0.1/* /var/www/kibana3/
　　在使用kibana之前我们还需要先安装nginx。

安装nginx
　　执行如下命令安装nginx:

sudo apt-get install nginx
　　安装结束之后建立文件nginx.conf，其内容如下：

#
# Nginx proxy for Elasticsearch + Kibana
#
# In this setup, we are password protecting the saving of dashboards. You may
# wish to extend the password protection to all paths.
#
# Even though these paths are being called as the result of an ajax request, the
# browser will prompt for a username/password on the first request
#
# If you use this, you'll want to point config.js at http://FQDN:80/ instead of
# http://FQDN:9200
#
server {
listen                *:80 ;
server_name           localhost;
access_log            /var/log/nginx/kibana.myhost.org.access.log;
location / {
root  /var/www/kibana3;
index  index.html  index.htm;
}
location ~ ^/_aliases$ {
proxy_pass http://127.0.0.1:9200;
proxy_read_timeout 90;
}
location ~ ^/.*/_aliases$ {
proxy_pass http://127.0.0.1:9200;
proxy_read_timeout 90;
}
location ~ ^/_nodes$ {
proxy_pass http://127.0.0.1:9200;
proxy_read_timeout 90;
}
location ~ ^/.*/_search$ {
proxy_pass http://127.0.0.1:9200;
proxy_read_timeout 90;
}
location ~ ^/.*/_mapping {
proxy_pass http://127.0.0.1:9200;
proxy_read_timeout 90;
}
# Password protected end points
location ~ ^/kibana-int/dashboard/.*$ {
proxy_pass http://127.0.0.1:9200;
proxy_read_timeout 90;
limit_except GET {
proxy_pass http://127.0.0.1:9200;
auth_basic "Restricted";
auth_basic_user_file /etc/nginx/conf.d/kibana.myhost.org.htpasswd;
}
}
location ~ ^/kibana-int/temp.*$ {
proxy_pass http://127.0.0.1:9200;
proxy_read_timeout 90;
limit_except GET {
proxy_pass http://127.0.0.1:9200;
auth_basic "Restricted";
auth_basic_user_file /etc/nginx/conf.d/kibana.myhost.org.htpasswd;
}
}
}
     　　需要注意其中如下行的内容server_name localhost; 需要将server_name设置成对应的机器名。
　　文件修改结束后将文件拷贝到指定的目录：

sudo cp nginx.conf /etc/nginx/sites-available/default
　　重启nginx以使得改动生效：

sudo service nginx restart

安装logstash
　　下载logstash:

wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz
　　解压logstash文件包：

tar zxvf logstash-1.4.2.tar.gz
　　这样，上述的elasticsearch, kibana, logstash就都已经安装好了。我们可以通过运行一个简单的示例来验证安装是否正确。

验证安装
　　进入elasticsearch目录，启动elasticsearch:

cd ~/elasticsearch/
./bin/elasticsearch
　　在logstash目录创建一个文件sample.conf，其内容如下：

input {
stdin{}
}

output {
elasticsearch { host => localhost }
stdout {
codec => rubydebug
}
}
　　其中output里将输出定向到两个地方，一个是elasticsearch，一个是本地的console。
　　在logstash安装目录下执行命令启动logstash:

./bin/logstash -f sample.conf
　　在启动命令后输入字符串hello，则屏幕显示如下输出：

{
"message" => "hello",
"@version" => "1",
"@timestamp" => "2015-02-27T06:08:02.038Z",
"host" => "ubuntu"
}

　　打开浏览器，输入http://localhost，则可以看到kibana的页面如下：

　　如果点击页面右边logstash dashboard的链接，则可以看到如下的界面：

　　我们在下面的All EVENTS部分还可以看到刚才在logstash命令行显示的内容hello。
　　这样，整个ELK的单机安装过程就结束了。

参考材料
　　https://www.digitalocean.com/community/tutorials/how-to-use-logstash-and-kibana-to-centralize-and-visualize-logs-on-ubuntu-14-04