Python Elasticsearch API操作ES集群

环境

Centos 7.4

Python 2.7

Pip 2.7 MySQL-python 1.2.5 Elasticsearc 6.3.1

Elasitcsearch6.3.2

知识点

调用Python Elasticsearh API

Python Mysqldb使用

DSL查询与聚合

Python 列表操作

代码

#!/usr/bin/env python

# -*- coding: utf-8 -*-

#minyt 2018.9.1

#获取24小时内出现的模块次数

# 该程序通过elasticsearch python client 获取相关精简数据，可以计算请求数、超时数、错误数、正确率、错误率等等

import MySQLdb

from elasticsearch import Elasticsearch

from elasticsearch import helpers

#定义elasticsearch集群索引名

index_name = "logstash-nginxlog-*"

#实例化Elasticsearch类，并设置超时间为180秒，默认是10秒的，如果数据量很大，时间设置更长一些

es = Elasticsearch(['elasticsearch01','elasticsearch02','elasticsearch03'],timeout=180)

#DSL（领域特定语言）查询语法，查询top50 sname的排列次数

data_sname = {

  "aggs": {

    "2": {

      "terms": {

        "field": "apistatus.sname.keyword",

        "size": 100,

        "order": {

          "_count": "desc"

        }

      }

    }

  },

  "size": 0,

  "_source": {

    "excludes": []

  },

  "stored_fields": [

    "*"

  ],

  "script_fields": {},

  "docvalue_fields": [

    "@timestamp"

  ],

  "query": {

    "bool": {

      "must": [

        {

          "match_all": {}

        },

        {

          "range": {

            "@timestamp": {

              "gte" : "now-24h/h",

              "lt" :  "now/h"

            }

          }

        }

      ],

      "filter": [],

      "should": [],

      "must_not": []

    }

  }

}

#按照DSL（特定领域语言）语法查询获取数据

def get_original_data():

    try:

        #根据上面条件搜索数据

        res = es.search(

            index=index_name,

            size=0,

            body=data_sname

        )

        return res

    except:

        print "get original data failure"

#初始化数据库

def init_mysql():

    # 打开数据库连接

    db = MySQLdb.connect("localhost", "myuser", "mypassword", "mydb", charset='utf8' )

    # 使用cursor()方法获取操作游标 

    cursor = db.cursor()

    # SQL 更新语句

    sql = "update appname set count=0"

    try:

        # 执行SQL语句

        cursor.execute(sql)

        # 提交到数据库执行

        db.commit()

    except:

        # 发生错误时回滚

        db.rollback()

    # 关闭数据库连接

    db.close()

def updata_mysql(sname_count,sname_list):

    # 打开数据库连接

       db = MySQLdb.connect("localhost", "myuser", "mypassword", "mydb", charset='utf8' )

    # 使用cursor()方法获取操作游标 

    cursor = db.cursor()

    # SQL 更新语句

    sql = "update appname set count=%d where sname = '%s'" % (sname_count,sname_list)

    try:

        # 执行SQL语句

        cursor.execute(sql)

        # 提交到数据库执行

        db.commit()

    except:

        # 发生错误时回滚

        db.rollback()

    # 关闭数据库连接

    db.close()

#根据Index数据结构通过Elasticsearch Python Client上传数据到新的Index

def import_process_data():

    try:

        #列表形式显示结果

        res = get_original_data()

        #print res

        res_list = res.get('aggregations').get('2').get('buckets')

        #print res_list

        #初始化数据库

        init_mysql()

        #获取24小时内出现的SNAME 

        for value in res_list:

            sname_list = value.get('key')

            sname_count = value.get('doc_count')

            print sname_list,sname_count

            #更新sname_status值

            updata_mysql(sname_count,sname_list)

    except Exception, e:

        print repr(e)

if __name__ == "__main__":

    import_process_data()

总结

关键是DSL语法的编写涉及查询与聚合可以通过kibana的visualize或者devtool先测试出正确语法，然后结合python对列表、字典、除法、字符串等操作即可。下面汇总下各个算法：

总请求

http_host.keyword: api.mydomain.com

超长请求

http_host.keyword: api.mydomain.com AND request_time: [1 TO 600] NOT apistatus.status.keyword:*错误

错误请求

apistatus.status.keyword:*错误 AND (http_host.keyword: api.mydomain.com OR http_host.keyword: api.yourdomain.com )

请求健康度

域名与request_time聚合，域名请求时间小于3秒的次数除以总请求次数对应各个域名健康度

请求正确率

域名与http状态码聚合，域名http状态码为200的次数除以域名总请求数对应各个域名的请求正确率

©著作权归作者所有：来自51CTO博客作者三杯水的原创作品，如需转载，请注明出处，否则将追究法律责任

喜欢我的文章，成为我的天使投资人吧