03-Loki 日志监控

1 Loki

1.1 简介

功能强大；轻量级，可以在配置更低的设备上部署；完全契合现代化部署方式；

github

Loki是受Prometheus启发的水平可扩展、高可用、多租户日志聚合系统。它的设计非常具有成本效益且易于操作。它不索引日志的内容，而是索引每个日志流的一组标签。

1.2 优点

与其他日志聚合系统相比，Loki优势在于：

不对日志进行全文索引。通过存储压缩的非结构化日志和仅索引元数据，Loki 更易操作且运行成本更低。

使用你已经在 Prometheus 中使用的相同标签对日志流进行索引和分组，让你能使用你已在 Prometheus 中使用的相同标签在指标和日志之间无缝切换。

尤其适合存储 Kubernetes Pod 日志。Pod 标签等元数据会被自动抓取和索引。

在 Grafana 中有本机支持（需要 Grafana v6.0）。

1.3 Loki日志栈

• promtail，代理，收集日志并发给Loki

• loki，主服务器，存储日志和处理查询

• Grafana，查询和显示日志

Loki 像 Prometheus，但对于日志：我们更喜欢基于多维标签的索引方法，并想要单二进制、易于os且没有依赖关系的系统。Loki 与 Prometheus 不同在于专注日志而非指标，并通过push而非pull交付日志。

1.4 下载及安装

Github：

① 解压loki的安装包至指定目录（/data/software/loki/）

mkdir /data/software/loki/

unzip -q loki-linux-amd64.zip -d /data/software/loki/

② 新建或上传loki配置文件到指定目录（/data/software/loki/etc）

mkdir /data/software/loki/etc

vim /data/software/loki/etc/loki-local-config.yaml

配置文件内容

# 认证配置
auth_enabled: false

# 端口配置
server:
	# 监听的端口
  http_listen_port: 3100

ingester:
  lifecycler:
    address: 127.0.0.1
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 5m
  chunk_retain_period: 30s
  max_transfer_retries: 0

schema_config:
  configs:
    - from: 2020-07-29
      store: boltdb
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 168h

# 存储位置配置
storage_config:
	# 流文件存储地址
  boltdb:
  	# 自定义boltdb目录
    directory: /data/software/loki/data/index
	# 索引存储地址
  filesystem:
  	# 自定义filesystem目录
    directory: /data/software/loki/data/chunks

# 采集限制配置
limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h
  # 修改每用户摄入速率限制，即每秒样本量，默认值为4M
  ingestion_rate_mb: 30
  # 修改每用户摄入速率限制，即每秒样本量，默认值为6M
  ingestion_burst_size_mb: 15

# 日志回看配置
chunk_store_config:
	#  max_look_back_period: 0s
	# 回看日志行的最大时间，只适用于即时日志，7天
  max_look_back_period: 168h

# 表的保留期配置
#table_manager:
#  retention_deletes_enabled: false
#  retention_period: 0s

table_manager:
	# 日志保留周期开关，默认false
  retention_deletes_enabled: true
  # 日志保留周期
  retention_period: 168h  

1.5 启动loki

[root@service-monitoring etc]# nohup /data/software/loki/loki-linux-amd64 -config.file=/data/software/loki/etc/loki-local-config.yaml &
[1] 10508
[root@service-monitoring etc]# nohup: ignoring input and appending output to ‘nohup.out’

1.6 验证是否启动成功

[root@service-monitoring etc]# ps -ef|grep loki
root     10508  9405  0 17:27 pts/4    00:00:00 /data/software/loki/loki-linux-amd64 -config.file=/data/software/loki/etc/loki-local-config.yaml
root     10535  9405  0 17:27 pts/4    00:00:00 grep --color=auto loki

2 安装promtail

Grafana可以和loki部署在同一台服务器。

而promtail需安装在每台有日志输出文件的应用服务器。

2.1 解压安装包至指定目录

unzip -q promtail-linux-amd64.zip -d /data/software/promtail/

2.2 新建或上传loki配置文件到指定目录

/data/software/promtail/etc/

vim /data/software/promtail/etc/promtail-local-config.yaml

配置文件内容

# 端口配置
server:
  http_listen_port: 9080
  grpc_listen_port: 0

# 记录游标位置
positions:
	# 游标记录上一次同步位置
  filename: /data/software/promtail/tmp/positions.yaml
  # 每10s同步一次
  sync_period: 10s

# Loki服务器地址
clients:
  - url: http://ip:3100/loki/api/v1/push

# 日志文件配置
scrape_configs:
- job_name: monitor-platform-task-test-job-name
  static_configs:
  - targets:
      - localhost
    labels:
      job: monitor-platform-task-test-job
      __path__: /usr/local/javaedge/monitor-platform/task/logs/monitor-platform-task.log

2.3 启动promtail

[root@service-monitoring etc]# nohup /data/software/promtail/promtail-linux-amd64 -config.file=/data/software/promtail/etc/promtail-local-config.yaml &
[1] 12772
[root@service-monitoring etc]# nohup: ignoring input and appending output to ‘nohup.out’

2.4 验证promtail是否启动成功

[root@service-monitoring etc]# ps -ef|grep promtail
root     12772 12231  0 17:48 pts/1    00:00:00 /data/software/loki/promtail-linux-amd64 -config.file=/data/software/loki/etc/promtail-local-config.yaml
root     12796 12231  0 17:48 pts/1    00:00:00 grep --color=auto promtail

重启

# 1 查找正在运行的 Promtail 进程的 PID
[root@javaedge-car-receiver-test etc]# ps aux | grep promtail
root     12711  0.0  0.0 112712   964 pts/0    S+   16:26   0:00 grep --color=auto promtail
root     14423  0.4  0.8 1150788 65720 ?       Sl   Apr02 274:46 /data/software/promtail/promtail-linux-amd64 -config.file=/data/software/promtail/etc/promtail-local-config.yaml
# 这将显示所有包含 promtail 的进程。找到与你之前启动的 Promtail 实例对应的进程，记下其 PID。

# 2 停止正在运行的 Promtail 进程：
[root@javaedge-car-receiver-test etc]# kill PID
# 使用与原始启动命令相同的命令来重新启动 Promtail
[root@javaedge-car-receiver-test etc]# nohup /data/software/promtail/promtail-linux-amd64 -config.file=/data/software/promtail/etc/promtail-local-config.yaml &
[1] 12779
[root@javaedge-car-receiver-test etc]# nohup: ignoring input and appending output to ‘nohup.out’

[root@javaedge-car-receiver-test etc]# ps aux | grep promtail
root     12779 44.7  0.8 1150980 70088 pts/0   Sl   16:28   0:04 /data/software/promtail/promtail-linux-amd64 -config.file=/data/software/promtail/etc/promtail-local-config.yaml
root     12795  0.0  0.0 112712   968 pts/0    S+   16:29   0:00 grep --color=auto promtail
[root@javaedge-car-receiver-test etc]# 

3 在Grafana中添加Loki数据源

进入Grafana，选择 Configuration -> Data sources -> Add data source 进入选择页面，找到 Loki

选择数据源：

填写 loki 地址：

保存成功之后，切换到 Explore 菜单，在顶部选择数据源中就能找到 Loki 了，选中它：

4 查看日志

进入链接：http://graphna部署ip:3000/explore：点击 Log browser 展开面板，在下面可以看见我们在 promtail 配置文件中配置的标签在这里面出现了，并且中间有很多日志文件

选择日志文件：

在右侧随意选择一个标签就可以过滤中间的文件，只显示到对应的服务的日志文件。
选择一个文件，然后可以看到下面有查询语句，这个是 Loki 的查询语言，与 Prometheus 查询语言 PromQL 类似，可实现强大的搜索过滤等查询。

点击下面的 Show log 按钮，即可查看该日志文件最新的日志内容：

常用功能说明：

5 日志选择和过滤

1 日志选择器

对于查询表达式的标签部分，将其用大括号括起来 {}，然后使用键值语法选择标签。多个标签表达式用逗号分隔。
例如下面这个查询语句表示的就是查询 job 标签为 gps_server 中的 /var/log/gps_server/request.log 文件

{filename="/var/log/gps_server/request.log",job="gps_server"}

支持以下标签匹配运算符：

• = 完全相等。
• != 不相等。
• =~ 正则表达式匹配。
• !~ 不进行正则表达式匹配。

2 日志过滤器

编写日志流选择器后，可以通过编写搜索表达式来进一步过滤结果。搜索表达式可以是文本或正则表达式。
示例：查询所有请求 /v1/web/monitor/statistics 接口的日志

{filename="/var/log/gps_server/request.log"}|="/v1/web/monitor/statistics"

匹配到结果之后还有高亮显示

过滤器可以多个连续使用，例如：在错误中查找关于邮件发送失败的日志

{filename="/var/log/gps_server/runtime.log",job="gps_server"}|="ERRO"|="邮件"

可用的过滤器类型：

• |= 行包含字符串。
• != 行不包含字符串。
• |~ 行匹配正则表达式。
• !~ 行与正则表达式不匹配。 regex表达式接受RE2语法。默认情况下，匹配项区分大小写，并且可以将regex切换为不区分大小写的前缀(?i)。