Python操作Elasticsearc

发布时间：2019-08-28 09:19:00编辑：auto阅读（1845）

    描述：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。下面介绍了利用Python API接口进行数据查询，方便其他系统的调用。
    注：此文仅做笔记参考
     
     
    安装API
    1
    pip install elasticsearch
     
    建立es连接
    1
    2
    from elasticsearch import Elasticsearch
    es = Elasticsearch([{'host':'10.10.13.12','port':9200}])

    　　

    数据检索功能
    1
    es.search(index='logstash-2015.08.20', q='http_status_code:5* AND server_name:"web1"', from_='124119')

     

    常用参数
    • index - 索引名
    • q - 查询指定匹配 使用Lucene查询语法
    • from_ - 查询起始点  默认0
    • doc_type - 文档类型
    • size - 指定查询条数 默认10
    • field - 指定字段 逗号分隔
    • sort - 排序  字段：asc/desc
    • body - 使用Query DSL
    • scroll - 滚动查询
     
    统计查询功能
    # 语法同search大致一样，但只输出统计值
    1
    2
    In[52]: es.count(index='logstash-2015.08.21', q='http_status_code:500')
    Out[52]:{u'_shards':{u'failed':0, u'successful':5, u'total':5}, u'count':17042}

    　　

     
    知识扩展
    • 滚动demo
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    # Initialize the scroll
    page = es.search(
        index ='yourIndex',
        doc_type ='yourType',
        scroll ='2m',
        search_type ='scan',
        size =1000,
        body ={
        # Your query's body
    })
     
    sid = page['_scroll_id']
    scroll_size = page['hits']['total']
     
    # Start scrolling
    while(scroll_size >0):
        print "Scrolling..."
        page = es.scroll(scroll_id = sid, scroll ='2m')
        # Update the scroll ID
        sid = page['_scroll_id']
        # Get the number of results that we returned in the last scroll
        scroll_size = len(page['hits']['hits'])
        print "scroll size: "+ str(scroll_size)
        # Do something with the obtained page
     
    以上demo实现了一次取若干数据，数据取完之后结束，不会获取到最新更新的数据。我们滚动完之后想获取最新数据怎么办？滚动的时候会有一个统计值，如total: 5。跳出循环之后，我们可以用_from参数定位到5开始滚动之后的数据。
     
    • Query DSL
     
    range过滤器查询范围
    gt: > 大于
    lt: < 小于
    gte: >= 大于或等于
    lte: <= 小于或等于
    1
    2
    3
    4
    5
    6
    "range":{
        "money":{
            "gt":20,
            "lt":40
        }
    }

    1. 　　

    bool组合过滤器
    must：所有分句都必须匹配，与 AND 相同。
    must_not：所有分句都必须不匹配，与 NOT 相同。
    should：至少有一个分句匹配，与 OR 相同。
    1
    2
    3
    4
    5
    6
    7
    {
        "bool":{
        　　"must":[],
        　　"should":[],
        　　"must_not":[],
        }
    }
     
     
    term过滤器
    • term单过滤
    1
    2
    3
    4
    5
    {
        "terms":{
        　　"money":20
        }
    }

    　　

    • terms复数版本，允许多个匹配条件
    1
    2
    3
    4
    5
    {
        "terms":{
        　　"money": [20,30]
        }
    }
     
     
    正则查询 
    1
    2
    3
    4
    5
    {
        "regexp": {
            "http_status_code": "5.*"
        }
    }
     
     
    match查询
    • match 精确匹配
    1
    2
    3
    4
    5
    {
        "match":{
        　　"email":"123456@qq.com"
        }
    }
     
    • multi_match 多字段搜索
    1
    2
    3
    4
    5
    6
    {
        "multi_match":{
        　　"query":"11",
        　　"fields":["Tr","Tq"]
        }
    }
     
     
    demo
    • 获取最近一小时的数据
    1
    2
    3
    4
    5
    6
    7
    8
    9
    {'query':
        {'filtered':
            {'filter':
                {'range':
                    {'@timestamp':{'gt':'now-1h'}}
                }
            }
        }
    }

    1. 　　

    • 条件过滤查询
    1
    2
    3
    4
    5
    6
    7
    8
    {
        "query":{
            "filtered":{
                "query":{"match":{"http_status_code":500}},
                "filter":{"term":{"server_name":"vip03"}}
            }
        }
    }
     
    • Terms Facet 单字段统计
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    {'facets':
        {'stat':
            {'terms':
                {'field':'http_status_code',
                  'order':'count',
            'size':50}
            }
        },
        'size':0
    }

    　　　

    • 一次统计多个字段
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    {'facets':
        {'cip':
            {'terms':
                {'fields':['client_ip']}},
                  'status_facets':{'terms':{'fields':['http_status_code'],
                  'order':'term',
                  'size':50}}},
            'query':{'query_string':{'query':'*'}},
        'size':0
    }

    　　

    • 多个字段一起统计
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    {'facets':
        {'tag':
            {'terms':
                {'fields':['http_status_code','client_ip'],
                  'size':10
               }
            }
        },
        'query':
            {'match_all':{}},
        'size':0
    }

    　　

     
    数据组装
     
    以下是kibana首页的demo，用来统计一段时间内的日志数量
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    {
      "facets": {
        "0": {
          "date_histogram": {
            "field": "@timestamp",
            "interval": "5m"
          },
          "facet_filter": {
            "fquery": {
              "query": {
                "filtered": {
                  "query": {
                    "query_string": {
                      "query": "*"
                    }
                  },
                  "filter": {
                    "bool": {
                      "must": [
                        {
                          "range": {
                            "@timestamp": {
                              'gt': 'now-1h'
                            }
                          }
                        },
                        {
                          "exists": {
                            "field": "http_status_code.raw"
                          }
                        },
                        # --------------- -------
                        # 此处加匹配条件
                      ]
                    }
                  }
                }
              }
            }
          }
        }
      },
      "size": 0
    }

    　　

    如果想添加匹配条件，在以上代码标识部分加上过滤条件，按照以下代码格式即可
    1
    2
    3
    4
    5
    {
    "query": {
        "query_string": {"query": "backend_name:baidu.com"}
        }
    },

关键字：

上一篇： Python基础-对数

下一篇： python读写protobuf