简单使用packetbeat

在前面两篇文章中记录了使用logstash来收集mysql的慢查询日志，然后通过kibana以web的方式展示出来，但在生产环境中，需求会更复杂一些，而且通过logstash写正则，实在是个费时费劲的事。例如在生产环境中会有要求分析某个时间段mysql或者mongodb的慢查询日志情况；还有I/O吞吐量；这个时间段内经常执行的查询语句，http访问情况等信息；然后将分析出来的结果以图表的形式展现出来。听起来是不是有点头晕，有点高大上的感觉，其实通过packetbeat，一切将变得简单高效。本文介绍使用packetbeat，elasticsearch,kibana实现这个需求。

操作系统版本：centos6.6 64bit

Elasticsearch版本：elasticsearch-2.1.0.tar.gz

Kibana版本：Kibana 4.2.1

Packetbeat版本：packetbeat-1.0.0-1.x86_64

Topbeat版本：topbeat-1.0.0-x86_64 （topbeat其实是用来收集操作系统信息的）

在前两篇文章中未介绍如果安装elasticsearch和kibana，这个其实很简单，基本下载下来解压一下，稍微修改一下配置文件即可运行起来，所有就忽略了，如果有问题，可以自行百度或者bing一下。

目前packetbeat支持的网络协议有http,mysql,postgresql,redis,mongodb和thrift。Packetet支持pcap，pf_ring等抓包方式，采用哪种方式进行抓包，则需要安装相应的依赖包。

一：下载并安装packetbeat

# yum -y install libpcap

# rpm -ivh https://download.elastic.co/beats/packetbeat/packetbeat-1.0.0-x86_64.rpm

# rpm -ivh https://download.elastic.co/beats/topbeat/topbeat-1.0.0-x86_64.rpm

二：向elasticsearch导入packetbeat模板

# curl -XPUT 

'http://192.168.1.226:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json

三：修改packetbeat配置文件

# cat /etc/packetbeat/packetbeat.yml  --server15

shipper:

 name: server15

 tags: ["server15"]

interfaces:

  device: any

  type: pcap

  buffer_size_mb: 100

protocols:

  mysql:

    ports: [3306]

output:

  elasticsearch:

    host: 192.168.1.207

    port: 9200

enabled: true

# cat /etc/packetbeat/packetbeat.yml  --server226

shipper:

 name: server226

 tags: ["server226"]

interfaces:

  device: eth0

  type: pcap

  buffer_size_mb: 100

protocols:  

  mongodb:

    ports: [37017, 38017]

    send_request: true     # index the request payload

    send_response: true    # index the response payload

    max_docs: 10           # maximum number of documents to index per request/response

    max_doc_length: 1024   # maximum document size to index

protocols:

 mysql:

    ports: [3306]

protocols:

 redis:

    ports: [6379]

output:

  elasticsearch:

    enabled: true

    host: 192.168.1.207

    port: 9200

四：启动packetbeat服务

# /etc/init.d/packetbeat start

五：导入packetbeat-dashboards

# git clone https://github.com/elastic/packetbeat-dashboards

# cd packetbeat-dashboards

# sh load.sh -url http://192.168.1.207:9200

六：web展示

1: 配置索引，这个在执行完load.sh脚本之后，索引会自动创建

wKiom1ZuiQ_wSfvGAACffDA-MDM552.png

2: 查看客户端的数据推送情况

wKiom1ZuiTnDruz2AADq8GDSF-E663.png

3: 查看导入的面板，可视化视图，点击setting-objects

wKioL1ZuiW7jT1nlAABr3Brl0hc212.png

4: 图形展示,点击dashboard-load save dashboards

wKioL1ZuiZySBukgAABD8K7ZGHQ261.png

Mysql情况：

wKiom1Zuib3B0N8GAAC-SiDsHqY275.png

在有多台mysql服务的情况下，可以根据tags来区分，在搜索框中输入相应的tag，则只显示对应的数据

wKiom1ZuieKx5OKOAADLhj9NrP8791.png

Mongodb情况

wKiom1ZuigDgzATgAABt0o2Rnfw187.png

汇总情况：

wKiom1ZuihuCI8WaAACjCa0H8Ww300.png

更多数据演示请访问packetbeat demo网址：http://demo.elastic.co/packetbeat/

七：故障排错

1: 在测试过程中曾经发现mysql里面的most frequent Mysql queries和slowest mysql queries数据显示不全，像是被截断的样子，排查后发现其实是模板的问题，删除模板后重新导入即可.

wKioL1ZuilehmdvhAACK_2SQDeI261.png

wKiom1ZuilLyFRN8AABmQsQvIVk594.png

 # curl -XDELETE 'http://192.168.1.207:9200/*'

 # curl -XPUT

 'http://192.168.1.207:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json

# cd packetbeat-dashboards

# sh load.sh -url http://192.168.1.207:9200

2: elasticsearch数据维护

搜索数据：(如果你有多个索引，可以把packetbeat-*换成对应的索引名)：

# curl -XGET 'http://192.168.1.226:9200/packetbeat-*/_search?pretty'

删除数据(如果你有多个索引，可以把packetbeat-*换成对应的索引名)：

# curl -XDELETE 'http://192.168.1.207:9200/packetbeat-*'

©著作权归作者所有：来自51CTO博客作者ylw6006的原创作品，谢绝转载，否则将追究法律责任

packetbeat elasticsearchWorkSpace