elasticsearch 笔记

期盼死亡的小丑

https://ruby-china.org/topics/32428

界面工具： http://localhost:9200/_plugin/head/

es 中 指定某个字段为空 必须用missing
         
\"must_not\":[{\"missing\":{\"field\":\"gongqiu.tags\"}}]         


配置 ：  默认搜索和创建索引的分词算法:   index.analysis.analyzer.default.type : "mmseg"

010  63005005


索引分片数:   index.number_of_shards: 5
索引副本数:   index.number_of_replicas: 1

type：  创建类型
as：  “company.id”
analyzer:  指定分词
boost：  查询权重
char_filter => ["html_strip"]  过滤掉html字符
source:    通过 includes包含创建索引的时候自动创建指定的字段，而exclueds就是排除某些字段，其余的字段自动创建索引
parent:    http://log.medcl.net/item/2011/10/diving-into-elasticsearch-8-parent-child-feature-uses/
ttl :    索引生存时间，超过时间后，这索引会被删掉，如果不通过default指定，那么不回被删除
index:  指定是否分词，如果分词，指定用什么分词,可以包含 not_analyzed,  no,   analyzed, analyzed_no_norms, not_analyzed_no_norms. not_analyzed是不分词，no是不会被查到， analyzed是指具体的分词，如mmseg等, ANALYZED_NO_NORMS，分词索引，不存储NORMS；not_analyzed_no_norms，不分词，索引，不存储NORMS,NORMS存储了boost所需信,默认是配置文件中指定的分词,这里没有指定的话，则不分词。
store： 包括yes和no和compress，yes为存储，no为不存储，COMPRESS为压缩存储,用于长文本或二进制，但性能受损
term_vector: http://blog.sina.com.cn/s/blog_6d01e21a0101iq4z.html
include_in_all:  制定是否包含到_all字段，默认自动包含

指定分词的情况下，对该词进行分词
http://218.240.21.106:9200/jobs/_analyze?analyzer=mmseg&text=%E4%B8%9C%E8%BD%AF


query

一旦使用search，必须至少提供query参数，然后在这个query的基础上进行接下来其他的检索。query参数又分三类：

    "match_all" : { } 直接请求全部；
    "term"/"text"/"prefix"/"wildcard" : { "key" : "value" } 根据字符串搜索(严格相等/片断/前缀/匹配符);
    terms :   精确匹配多个关键字，eg:   curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {terms: {name: ["zhang", "zhangcaiyan"]} }} }'
    term 是严格相等的查询，例如我查找中国人民，那么他就是使用中国人民去查询
    text   是片段查询，例如我同样查找中国人民，那么他有可能是用中国  人民  去查询
    query_string :
   
    "range" : { "@timestamp" : { "from" : "now-1d", "to" : "now" } } 根据范围搜索，如果type是时间格式，可以使用内置的now表示当前，然后用-1d/h/m/s来往前推,参数有from、 to、  include_lower、  include_upper、gt、gte、lt、lte。
    "range" : { "age" : { "from" : 10, "to" : 20 } }
   
   
    match  完全匹配，使用的时候，可以使用operator来指定是and  和  or，默认是or，例如下面 _all字段中必须同时含有zcy和z的数据，才可以被查出来
curl -XGET http://localhost:9200/infos/_search?pretty=true -d '{query: {match: {_all: {query: "zcy z", operator: "and"}}} }'
curl -XGET http://localhost:9200/infos/_search?pretty=true -d '{query: {match: {_all: "zcy z"} } }'
    match:  好像和text是一样的
    multi_match:  通过fields可以指定多个字段去匹配内容
    curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {multi_match: { query: "zcy z", fields: ["name", "desc"] }} }'
   
bool: must和must_not和should，通过must指定必须符合的条件，must_not指定必须不符合的条件，should  是指可以符合某个条件，这三个是可以结合使用，我们总会遇到一些这样的需求，必须。。。，或者可以。。。。，没有出现也没关系，出现的话就索引出来。
   
  curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {bool: { must: {term: {name: "zcy"}}  }} }'
  
  ids:  id查询，curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {ids: { values: ["2", "3", "31", "50"]  }} }'
   
   
filter 过滤，这个查询很快，因为不需要执行打分过程，上面提到的query的参数，在filter中也都存在。此外，还有比较重要的参数就是连接操作：  curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {wildcard: { name: "*z*" }}, filter: {range: {id: {from: 1, to: 10}} } }'

    "or"/"and" : [{"range":{}}, {"prefix":""}] 两个filter的查询，交集或者合集；
    "bool" : ["must":{},"must_not":{},"should":{}] 上面的and虽然更快，但是只能支持两个，超过两个的，要用 bool 方法；
    "not"/"limit" : {} 取反和限定执行数。注意这个limit和mysql什么的有点不同：它限定的是在每个上执行多少条。如果你有5个，其实对整个index是limit了5倍大小的设定值。

另一点比较关键的是：filter结果默认是不缓存的，如果常用，需要指定 "_cache" : true。   

    fuzzy: 模糊查询， 和min_similarity配合使用，当查找的数据是数字时，min_similarity可以指定数字，表示在该数字增加或减小这个值的范围内的查询，例如： curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {fuzzy: {age: {value: 10, min_similarity: 9 } }} }'，如果查找的是日期，那么min_similarity指定的是日期，这个日期代表查找该日期的上下浮动范围。例如：  curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {fuzzy: {created_at: {value: "2013-05-07", min_similarity: "2d" } }} }'，如果是查找的是字符串，那我就不知道是啥意思了
   
  query_string:   查询，这种查询非常灵活，可以match/text、wildcard查询，wildcard通配符查询，可以通过参数allow_leading_wildcard来实现，这个参数默认为true。    详情见http://www.elasticsearch.cn/guide/reference/query-dsl/query-string-query.html， 拥有参数 fields, query  、default_field、 default_operator（默认or），eg： curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {query_string: { fields: ["name"], query: "z* zhang", default_operator: "and"  } } }'

filtered: 过滤查询，参数有query和filter，filter中有and、or、bool、not等，and和or里有filters参数，通过range和prefix指定过滤条件。  http://www.elasticsearch.cn/guide/reference/query-dsl/filtered-query.html   
eg:    and:     curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {filtered: {query: {wildcard: {_all: "*"}}, filter:{and: [{prefix: {name: "zhangcaiyan"}}]}  }}}'
          bool:    curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {filtered: {query: {wildcard: {_all: "*zhang*"}}, filter:{bool: {must: {term: {name: "zhang"}}} }  }}}'
           not:     curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {filtered: {query: {wildcard: {_all: "*zhang*"}}, filter:{ not: {prefix: {name: "z"}} }}}}'
           numeric_rage:        curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {filtered: {query: {wildcard: {_all: "*zhang*"}}, filter:{ numeric_range:{age: {from: 10, to: 20} }  }}}}'
          or:    curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {filtered: {query: {wildcard: {_all: "*"}}, filter:{or: [{prefix: {name: "zhangcaiyan"}}]}  }}}'
           prefix:     curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {filtered: {query: {wildcard: {_all: "*zhang*"}}, filter:{ not: {prefix: {name: "z"}} }}}}'
          range:       curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {filtered: {query: {wildcard: {_all: "*zhang*"}}, filter:{ range: {age: {from: "10"}} }}}}',   "range" : { "@timestamp" : { "from" : "now-1d", "to" : "now" } } 根据范围搜索，如果type是时间格式，可以使用内置的now表示当前，然后用-1d/h/m/s来往前推,参数有from、 to、  include_lower、  include_upper、gt、gte、lt、lte。
          term:        curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {constant_score: {filter: {term: {name: "zhang"}}} }}'

facets

facets接口可以根据query返回统计数据，最基础的是terms和statistical两种。不过在日志分析的情况下，最常用的是：

"histogram" : { "key_field" : "", "value_field" : "", "interval" : "" } 根据时间间隔返回柱状图式的统计数据；
"terms_stats" : { "key_field" : "", "value_field" : "" } 根据key的情况返回value的统计数据，类似group by的意思。

curl -XGET http://localhost:9200/jobs/_search?pretty=true -d'{"facets": {"cate": {"terms": {"field": "region_id"} } }}'

这里就涉及到前面mapping里为什么针对每个field都设定type的原因了。因为 histogram 里的 key_field 只能是 dateOptionalTime 格式的，value_field 只能是 string 格式的；而 terms_stats 里的 key_field 只能是 string 格式的，value_field 只能是 numberic 格式的。

而我们都知道，http code那些200/304/400/503神马的，看起来是数字，我们却需要的是他们的count数据，不是算他们的平均数。所以不能由ES动态的认定为long，得指定为string。

SpanFirstQuery仅取在开头部分包含查询词的文档，span_first、 end,  span_term需要满足的查询，end 为integer，决定哪里算开头， eg： curl -XGET http://localhost:9200/infos/_search?pretty=true -d'{query: {span_first: {match: {span_term: {name: "yan"}},end: 3 }} }'






映`射_source和_all
Mappings定义了你的文档如何被索引和存储。你可以，比如说，定义每个字段的类型——比如你的syslog里，消息肯定是字符串，严重性可以是整数。怎么定义映射参见链接。
默认情况下，除了给你所有的字段分别创建索引，elasticsearch还会把他们一起放进一个叫_all的新字段里做索引。好处是你可以在_all里搜索那些你不在乎在哪个字段找到的东西。另一面是在创建索引和增大索引大小的时候会使用额外更多的CPU。所以如果你不用这个特性的话，关掉它。即使你用，最好也考虑一下定义清楚限定哪些字段包含进_all里。详见链接。






bin/elasticsearch
bin/elasticsearch -f  前台运行

https://github.com/elasticsearch/elasticsearch-servicewrapper

bin/service/elasticsearch start来运行elasticsearch
bin/service/elasticsearch stop来停止elasticsearch
bin/service/elasticsearch console让elasticsearch在前台运行
bin/service/elasticsearch install让elasticsearch安装为服务
bin/service/elasticsearch remove删除elasticsearch服务


安装为服务以后就可以通过

service elasticsearch start来开启elasticsearch
service elasticsearch restart来重启elasticsearch
service elasticsearch stop来关闭elasticsearch

Es Mapping篇主要是讲解Mapping的一些相关配置与需要注意的地方，说到Mapping大家可能觉得有些不解，其实我大体上可以将Es 理解为一个数据管理平台，那么index 当然就是库了，type可以理解为表,mapping可以理解为表的结构和相关设置的信息（当然mapping有更大范围的意思）。Mapping的作用域也是从cluster、node、index、type。


每个索引在创建时可以让一个特定的设置项与其关联。

curl -XPUT 'http://localhost:9200/twitter/' -d '
index :
    number_of_shards : 3
    number_of_replicas : 2
'


curl -XPUT 'http://localhost:9200/twitter/' -d '{
    "settings" : {
        "index" : {
            "number_of_shards" : 3,
            "number_of_replicas" : 2
        }
    }
}'

curl -XPUT 'http://localhost:9200/twitter/' -d '{
    "settings" : {
        "number_of_shards" : 3,
        "number_of_replicas" : 2
    }
}'

你不需要在 settings 项中显示的指定number_of_shards index

更新索引设置 ：

curl -XPUT 'localhost:9200/twitter/_settings' -d '{
    "index" : {
        "number_of_replicas" : 1
    }
}'

查看索引设置： curl -XGET 'localhost:9200/twitter/_settings'

删除索引：
curl -XDELETE http://localhost:9200/blog

关闭和打开索引：

curl -XPOST 'http://localhost:9200/blog/_close'

curl -XPOST 'http://localhost:9200/blog/_open'



7 获取mapping

curl -XGET 'http://localhost:9200/blog/_mapping?pretty=true'         # 获取一个索引上定义的mapping

curl -XGET 'http://localhost:9200/blog/topic/_mapping?pretty=true'   # 获取一个类型上定义的mapping




curl -XGET 'http://localhost:9200/_mapping?pretty=true'              # 获取所有的mapping定义


8 获取状态

curl -XGET 'http://localhost:9200/blog/_status?pretty=true'

9 获取统计信息

curl -XGET 'http://localhost:9200/_stats?pretty=true'


boosting      http://www.elasticsearch.org/guide/reference/query-dsl/boosting-query/
field    http://www.elasticsearch.cn/guide/reference/query-dsl/field-query.html
fuzzy    如果查找的是字符串，那min_similarity是起什么作用的啊
has_child  
more_like_this  http://www.elasticsearch.cn/guide/reference/query-dsl/mlt-query.html
more_like_this_field
span_near
span_not
span_or
top_children
nested
custom_filters_score
script     http://www.elasticsearch.cn/guide/reference/query-dsl/script-filter.html





    @gongqius = Gongqiu.tire.search(page: (params[:page] || 1), per_page: params[:per_page] || 20) do |search|

      if @keywords.present?
        search.query do  |q|
          q.string @keywords
        end
      end



      # s = Tire.search('articles') { query { string 'title:T*' } }
      # s.filter :terms, :tags => ['ruby']
      # p s.results
      # p s.to_curl


      # 某种条件下的总数，可以指定and或or,and为多个条件并且，or为或
      # key = "xinxi_status_id"
      # temp_hash = {"facet_filter"=>{"and"=>[
      #   {"terms"=>{:category_id=>[8]}},
      #   {"terms"=>{:price_unit_id=>[1]}}
      # ]}}
      # search.facet(key, temp_hash) do |facet|
      #   facet.terms key, size: 20
      # end

      # search.filter :terms, {xinxi_status_id: [1,2,3], name: ["11"]}   过滤

      # search.sort{by :name, 'desc'}    查找排序

      search.query do  |q|
        q.string "name:#{@keywords}"
      end if nil

      search.query do  |q|
        q.string @keywords
      end if nil

      search.query do  |query|
        query.boolean do |b|
          if @keywords.present?
            b.must {|tm| tm.string @keywords }
            # b.must_not
            # b.should
          end
        end
      end if nil # bool

      if nil
        if  @q.present? || @locations.present?
          search.query do  |query|
            query.boolean do |b|
              if @q.present?
                b.must {|tm| tm.string @q }
              end

              if @locations.present?
                b.must {|tm| tm.string ("region:"+@locations) }
              end
            end
          end
        end

        search.highlight :description=>{"fragment_size" => 180, "number_of_fragments" => @filter_hash[:id].present? ? 0 : 1 },
          :name=>{"number_of_fragments" => 0},
          :company_name=>{"number_of_fragments" => 0},
          :region=>{"number_of_fragments" => 0},
          :industries_text=>{"number_of_fragments" => 0},
          :company_type=>{"number_of_fragments" => 0},
          :degree=>{"number_of_fragments" => 0},
          :job_class=>{"number_of_fragments" => 0},
          ptions => { :tag => '<strong class="highlight">' }

        @facet_attributes.keys.each do |key|
          search.facet(key.to_s,temp_hash) do |facet|
            facet.terms key.to_s,:size=>20
          end
        end

        @filter_hash.each do |key, value|
          search.filter :terms, key => value
        end

        search.sort { by :published_at, 'desc' }

      end
    end

    @facets = @gongqius.facets

查找具体的分词结果： http://host:port/index/_analyze?text=someting&analyzer=yourAnalyzer
http://localhost:9200/_plugin/rtf/