elasticsearch数据长期保存的方案

3421eeee

  Elasticsearch的数据就存储在硬盘中。当我们的访问日志非常大时，kabana绘制图形的时候会非常缓慢。而且硬盘空间有限，不可能保存所有的日志文件。如果我们想获取站点每天的重要数据信息，比如每天的访问量并希望能图像化的形式显示该如何做呢？

一、具体操作方法

获取数据之前你要知道你想要什么样的数据。比如我想获取每小时网站访问的PV，在kibana中肯定能获取到

这是在kibana中查询的每小时的pv,然后我们把他的查询json复制出来

把上述json粘贴到test文件中 然后使用如下语句即可查询上图显示的查询结果

curl -POST 'http://192.168.10.49:9200/_search' -d '@test'

{"took":940,"timed_out":false,"_shards":{"total":211,"successful":211,"failed":0},"hits"......

然后把返回的结果中的数据获取存入data数组中，这是你可以存入数据库也可以转换成json直接插入es

这种方法主要是通过elasticsearch的查询语句把数据查询出来在传参给其他地方。你输入固定的查询json它返回的json数据也是固定格式的，这样很方面就能从中挖掘出我们想要的数据！


二、php代码实现上述操作

class.php

   
<?php
#从ES中导出数据
#两个参数：
#url为从ES导出数据的访问路径，不同的数据路径不一样
#post_data为json格式，是request body。
function export($url,$post_data){
        $ch = curl_init ();
        curl_setopt ( $ch, CURLOPT_URL, $url );
        curl_setopt ( $ch, CURLOPT_CUSTOMREQUEST,"POST");
        curl_setopt ( $ch, CURLOPT_HEADER, 0 );
        curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 );
        curl_setopt ( $ch, CURLOPT_POSTFIELDS, $post_data);
        $arr=curl_exec($ch);
        curl_close($ch);
        return json_decode($arr,'assoc');;
}
#把数组数据导入ES
#两个参数：
#$url为导入数据的具体位置 如：http://IP:9200/索引/类型/ID（ID最好根据时间确定，需要唯一ID）
#post_data 导入ES的数据数组
function import($url,$post_data)
{
  $json=json_encode($post_data);
    $ci = curl_init();
    curl_setopt($ci, CURLOPT_PORT, 9200);
    curl_setopt($ci, CURLOPT_TIMEOUT, 2000);
    curl_setopt($ci, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ci, CURLOPT_FORBID_REUSE, 0);
    curl_setopt($ci, CURLOPT_CUSTOMREQUEST, 'PUT');
    curl_setopt($ci, CURLOPT_URL, $url);
    curl_setopt($ci, CURLOPT_POSTFIELDS, $json);
    $response = curl_exec($ci);
    unset($post_data);//销毁数组   
    unset($json);//销毁数据   
    curl_close($ci);
}
?>

vim access_info.php

<?php
include("class.php");
#导出数据的ES路径
$url="http://192.168.10.49:9200/_search";
#查询数据的开始时间
$begin=date("Y-m-d",strtotime("-16 day"));
#开始时间的格式转换
$start_time=strtotime($begin." 00:00:00");
#查询数据的结束时间及当时时间，并转换时间格式
$end_time=strtotime(date("Y-m-d H:i:s",time()));
#对查询json中开始及结束时间的替换，json是在./lib/下的同名txt文件
$post_data=str_replace('end_time',$end_time,str_replace('start_time',$start_time,file_get_contents('lib/'.str_replace('.php','.txt',basename($_SERVER['PHP_SELF'])).'')));
#查询ES中的数据，返回数组数据
$arr=export($url,$post_data);
#从数组中获取你想要的数据，然后在组合成一个新的数组
$array=$arr['aggregations']['2']['buckets'];
foreach($array as $key => $value){
    $data['@timestamp']=$value['key_as_string'];
    $data['request_PV']=$value['doc_count'];
    $data['request_IP']=$value['3']['value'];
    #Time为导入ES中的ID，具有唯一性。（不同tpye的可以相同）
    $Time=strtotime($data['@timestamp']);
    $urls="
      #调用函数import导入数据
    import($urls,$data);
}
?>

下面这个文件是存放./lib文件下的，和执行的php文件必须同名。

vim lib/access_info.txt
   
{
  "size": 0,
  "aggs": {
    "2": {
      "date_histogram": {
        "field": "@timestamp",
        "interval": "1h",  #"time_zone": "Asia/Shanghai" 此行需要删除，否则时间对不上
        "min_doc_count": 1,
        "extended_bounds": {
          "min": start_time, #start_time会被换成具体的时间
          "max": end_time
        }
      },
      "aggs": {
        "3": {
          "cardinality": {
            "field": "geoip.ip"
          }
        }
      }
    }
  },
   
  "highlight": {
    "pre_tags": [
      "@kibana-highlighted-field@"
    ],
    "post_tags": [
      "@/kibana-highlighted-field@"
    ],
    "fields": {
      "*": {}
    },
    "require_field_match": false,
    "fragment_size": 2147483647
  },
  "query": {
    "filtered": {
      "query": {
        "query_string": {
          "query": "*",
          "analyze_wildcard": true
        }
      },
      "filter": {
        "bool": {
          "must": [
            {
              "range": {
                "@timestamp": {
                  "gte": start_time,
                  "lte": end_time,
                  "format": "epoch_second"  #由毫秒换成秒
                }
              }
            }
          ],
          "must_not": []
        }
      }
    }
  }
}

根据上面的代码，我们可以定期获取ES中的重要数据。这样获取的数据只是结果数据，不是很精确，但能反应网站的趋势，而且查询非常快速！如果想要长时间保存重要的数据，可以使用这个方式，数据存入数据库。

以上是个人对能长期保存ES结果数据的做法，如果有更好的方法，希望能一起讨论！