站点图标 IDC铺

prometheus+grafana+alertmanager 安装配置文档

3182235786a

1. 安装组件基本介绍：

2.prometheus-server

2.1 官方地址：

2.2 安装 prometheus server

2.2.1 linux（centos7） 下载安装

~]# useradd -r -m -d /var/lib/prometheus prometheus

 wget https://github.com/prometheus/prometheus/releases/download/v2.14.0/prometheus-2.14.0.linux-amd64.tar.gz
 tar -xf prometheus-2.14.0.linux-amd64.tar.gz  -C /usr/local/
 cd /usr/local
 ln -sv prometheus-2.14.0.linux-amd64 prometheus

 vim /usr/lib/systemd/system/prometheus.service             
 [Unit]
 Description=The Prometheus 2 monitoring system and time series database.
 Documentation=https://prometheus.io
 After=network.target
 [Service]
 EnvironmentFile=-/etc/sysconfig/prometheus
 User=prometheus
 ExecStart=/usr/local/prometheus/prometheus \
 --storage.tsdb.path=/home/prometheus/prometheus \
 --config.file=/usr/local/prometheus/prometheus.yml \
 --web.listen-address=0.0.0.0:9090 \
 --web.external-url= $PROM_EXTRA_ARGS
 Restart=on-failure
 StartLimitInterval=1
 RestartSec=3
 [Install]
 WantedBy=multi-user.target

systemctl daemon-reload
systemctl start prometheus.service

iptables -I INPUT -p tcp --dport 9090 -s NETWORK/MASK -j ACCEPT

http://IP:PORT

2.2.2 docker安装：

$ docker run --name prometheus -d -v ./prometheus:/etc/prometheus/ -v ./db/:/prometheus -p 9090:9090 prom/prometheus --config.file=/etc/prometheus/prometheus.yml --web.listen-address="0.0.0.0:9090" --storage.tsdb.path=/prometheus --web.console.libraries=/usr/share/prometheus/console_libraries --web.console.templates=/usr/share/prometheus/consoles --storage.tsdb.retention=30d

2.3 prometheus配置:

2.3.1 启动参数

--config.file=/etc/prometheus/prometheus.yml # 指明主配置文件
--web.listen-address="0.0.0.0:9090"     # 指明监听地址端口
--storage.tsdb.path=/prometheus     # 指明数据库目录
--web.console.libraries=/usr/share/prometheus/console_libraries
--web.console.templates=/usr/share/prometheus/consoles  # 指明console lib 和 tmpl
--storage.tsdb.retention=60d  # 指明数据保留天数，默认15

2.3.2 配置文件：

 - global：全局配置段；

 - rule_files：指定告警规则文件的路径

 - scrape_configs：
    scrape配置集合，⽤于定义监控的⽬标对象（target）的集合，以及描述如何抓取 （scrape）相关指标数据的配置参数；
    通常，每个scrape配置对应于⼀个单独的作业（job），
    ⽽每个targets可通过静态配置（static_configs）直接给出定义，也可基于Prometheus⽀持的服务发现机制进 ⾏⾃动配置；

  - job_name: 'nodes'
 static_configs:    # 静态指定，targets中的 host:port/metrics 将会作为metrics抓取对象
 - targets: ['localhost:9100']
 - targets: ['172.20.94.1:9100']

- job_name: 'docker_host'
  file_sd_configs:  # 基于文件的服务发现，文件中（yml 和json 格式）定义的host:port/metrics将会成为抓取对象
 - files:
  - ./sd_files/docker_host.yml
refresh_interval: 30s

可由Prometheus使⽤的Alertmanager实例的集合，以及如何同这些Alertmanager交互的配置参数；

每个Alertmanager可通过静态配置（static_configs）直接给出定义， 也可基于Prometheus⽀持的服务发现机制进⾏⾃动配置；

配置“远程写”机制，Prometheus需要将数据保存于外部的存储系统（例如InfluxDB）时 定义此配置段，
随后Prometheus将样本数据通过HTTP协议发送给由URL指定适配器(Adaptor)；

配置“远程读”机制，Prometheus将接收到的查询请求交给由URL指定适配器 （Adpater）执⾏，
Adapter将请求条件转换为远程存储服务中的查询请求，并将获取的响应数据转换为Prometheus可⽤的格式；

 rule_files:
- "test_rules.yml"  # 指定配置告警规则的文件路径

2.3.3 简单的配置文件示例：

global:
  scrape_interval:  15s      #每过15秒抓取一次指标数据
  evaluation_interval: 15s#每过15秒执行一次报警规则，也就是说15秒执行一次报警
alerting:
  alertmanagers:
  - static_configs:
 - targets: ["localhost:9093"]# 设置报警信息推送地址 ， 一般而言设置的是alertManager的地址
rule_files:
  - "test_rules.yml"  # 指定配置告警规则的文件路径
scrape_configs: 
  - job_name: 'node'#自己定义的监控的job_name
 static_configs:    # 配置静态规则，直接指定抓取的ip:port
- targets: ['localhost:9100']
  - job_name: 'CDG-MS'
 honor_labels: true
 metrics_path: '/prometheus'
 static_configs:
- targets: ['localhost:8089']
 relabel_configs:
- target_label: env
  replacement: dev
  - job_name: 'eureka'
 file_sd_configs:       # 基于文件的服务发现
- files:
 - "/app/enmonster/basic/prometheus/prometheus-2.2.1.linux-amd64/eureka.json" # 支持json 和yml 两种格式
refresh_interval: 30s  # 30s钟自行刷新配置，读取文件，修改之后无需手动reload
 relabel_configs:
- source_labels: [__job_name__]
  regex: (.*)
  target_label: job
  replacement: ${1}
- target_label: env
  replacement: dev

2.3.5其他配置

2.4 prometheus web-gui

3.node_exporter

3.1 基本介绍

3.2 安装node_exporter

3.2.1 linux（centos7）下载安装：

3.2.2 docker安装

3.3 配置node_exporter

3.4 配置prometheus抓取node_exporter 指标

4.cadvisor

4.1 官方地址：

4.2 docker run

sudo docker run \
  --volume=/:/rootfs:ro \
  --volume=/var/run:/var/run:ro \
  --volume=/sys:/sys:ro \
  --volume=/var/lib/docker/:/var/lib/docker:ro \
  --volume=/dev/disk/:/dev/disk:ro \
  --publish=9080:8080 \
  --detach=true \
  --name=cadvisor \
  --privileged \
  --device=/dev/kmsg \
  google/cadvisor:v0.33.0

4.3 web页面查看简单的单机图形监控信息

4.4 配置prometheus抓取

5.grafana

5.1 官方地址

5.2 安装grafana

5.2.1 linux(centos7)安装

5.2.2 docker安装

5.3 grafana 简单使用流程

5.4 grafana告警配置：

6.prometheus and PromQL：

6.1 PromQL 简述

6.2 使用到promQL的组件：

6.3 metric 介绍

6.3.1 metric类型

6.3.2 label

6.4 PromQL 表达式

6.4.1 先看示例：

退出移动版