Prometheus + Grafana监控

Prometheus 入门

• Prometheus 受启发于 Google 的 Brogmon 监控系统（相似的 Kubernetes 是从 Google的 Brog 系统演变而来），从 2012 年开始由前 Google 工程师在 Soundcloud 以开源软件的形式进行研发，并且于 2015 年早期对外发布早期版本。
• 2016 年 5 月继 Kubernetes 之后成为第二个正式加入 CNCF 基金会的项目，同年 6 月正式发布 1.0 版本。2017 年底发布了基于全新存储层的 2.0 版本，能更好地与容器平台、云平台配合。
• Prometheus作为新一代的云原生监控系统，目前已经有超过 650+位贡献者参与到Prometheus的研发工作上，并且超过 120+项的第三方集成。

Prometheus 的特点

Prometheus 是一个开源的完整监控解决方案，其对传统监控系统的测试和告警模型进行了彻底的颠覆，形成了基于中央化的规则计算、统一分析和告警的新模型。 相比于传统监控系统，Prometheus 具有以下优点：

易于管理

➢ Prometheus 核心部分只有一个单独的二进制文件，不存在任何的第三方依赖(数据库，缓存等等)。唯一需要的就是本地磁盘，因此不会有潜在级联故障的风险。 ➢ Prometheus 基于 Pull 模型的架构方式，可以在任何地方（本地电脑，开发环境，测试环境）搭建我们的监控系统。 ➢ 对于一些复杂的情况，还可以使用 Prometheus 服务发现(Service Discovery)的能力动态管理监控目标。

监控服务的内部运行状态

Pometheus 鼓励用户监控服务的内部状态，基于 Prometheus 丰富的 Client 库，用户可以轻松的在应用程序中添加对 Prometheus 的支持，从而让用户可以获取服务和应用内部真正的运行状态。

强大的数据模型

所有采集的监控数据均以指标(metric)的形式保存在内置的时间序列数据库当中(TSDB)。所有的样本除了基本的指标名称以外，还包含一组用于描述该样本特征的标签。 如下所示：

http_request_status{code='200',content_path='/api/path',environment='produment'} => 
[value1@timestamp1,value2@timestamp2...] 

每一条时间序列由指标名称(Metrics Name)以及一组标签(Labels)唯一标识。每条时 间序列按照时间的先后顺序存储一系列的样本值。 ➢ http_request_status：指标名称(Metrics Name) ➢ {code='200',content_path='/api/path',environment='produment'}：表示维度的标签，基于这些 Labels 我们可以方便地对监控数据进行聚合，过滤，裁剪。 ➢ [value1@timestamp1,value2@timestamp2...]：按照时间的先后顺序 存储的样本值。

强大的查询语言 PromQL

Prometheus 内置了一个强大的数据查询语言 PromQL。 通过 PromQL 可以实现对监控数据的查询、聚合。同时 PromQL 也被应用于数据可视化(如 Grafana)以及告警当中。 通过 PromQL 可以轻松回答类似于以下问题： ➢ 在过去一段时间中 95%应用延迟时间的分布范围？ ➢ 预测在 4 小时后，磁盘空间占用大致会是什么情况？ ➢ CPU 占用率前 5 位的服务有哪些？(过滤)

高效

对于监控系统而言，大量的监控任务必然导致有大量的数据产生。而 Prometheus 可 以高效地处理这些数据，对于单一 Prometheus Server 实例而言它可以处理： ➢ 数以百万的监控指标 ➢ 每秒处理数十万的数据点

可扩展

可以在每个数据中心、每个团队运行独立的 Prometheus Sevrer。Prometheus 对于联邦集群的支持，可以让多个 Prometheus 实例产生一个逻辑集群，当单实例 Prometheus Server 处理的任务量过大时，通过使用功能分区(sharding)+联邦集群(federation)可以对其进行扩展。

易于集成

• 使用 Prometheus 可以快速搭建监控服务，并且可以非常方便地在应用程序中进行集成。目前支持：Java，JMX，Python，Go，Ruby，.Net，Node.js等等语言的客户端 SDK，基于这些 SDK 可以快速让应用程序纳入到 Prometheus 的监控当中，或者开发自己的监控数据收集程序。
• 同时这些客户端收集的监控数据，不仅仅支持 Prometheus，还能支持 Graphite 这些其他的监控工具。
• 同时 Prometheus 还支持与其他的监控系统进行集成：Graphite，Statsd，Collected，Scollector， muini， Nagios 等。 Prometheus 社区还提供了大量第三方实现的监控数据采集支持：JMX，CloudWatch，EC2，MySQL，PostgresSQL，Haskell，Bash，SNMP，Consul，Haproxy，Mesos，Bind，CouchDB，Django，Memcached，RabbitMQ，Redis，RethinkDB，Rsyslog 等等。

可视化

➢ Prometheus Server 中自带的 Prometheus UI，可以方便地直接对数据进行查询，并且支持直接以图形化的形式展示数据。同时 Prometheus 还提供了一个独立的基于Ruby On Rails 的 Dashboard 解决方案 Promdash。 ➢ 最新的Grafana可视化工具也已经提供了完整的 Prometheus 支持，基于 Grafana 可以创建更加精美的监控图标。 ➢ 基于 Prometheus 提供的 API 还可以实现自己的监控可视化 UI。

开放性

通常来说当我们需要监控一个应用程序时，一般需要该应用程序提供对相应监控系统协议的支持，因此应用程序会与所选择的监控系统进行绑定。为了减少这种绑定所带来的限制，对于决策者而言要么你就直接在应用中集成该监控系统的支持，要么就在外部创建单独的服务来适配不同的监控系统。

而对于 Prometheus 来说，使用 Prometheus 的 client library 的输出格式不止支持Prometheus 的格式化数据，也可以输出支持其它监控系统的格式化数据，比如 Graphite。因此你甚至可以在不使用 Prometheus 的情况下，采用 Prometheus 的 client library 来让你的应用程序支持监控数据采集。

Prometheus 的架构

Prometheus 生态圈组件

➢ Prometheus Server：主服务器，负责收集和存储时间序列数据 ➢ client libraies：应用程序代码插桩，将监控指标嵌入到被监控应用程序中 ➢ Pushgateway：推送网关，为支持 short-lived 作业提供一个推送网关 ➢ exporter：专门为一些应用开发的数据摄取组件—exporter，例如：HAProxy、StatsD、Graphite 等等。 ➢ Alertmanager：专门用于处理 alert 的组件

架构理解

Prometheus 既然设计为一个维度存储模型，可以把它理解为一个 OLAP 系统。

存储计算层

➢ Prometheus Server，里面包含了存储引擎和计算引擎。 ➢ Retrieval 组件为取数组件，它会主动从 Pushgateway 或者 Exporter 拉取指标数据。 ➢ Service discovery，可以动态发现要监控的目标。 ➢ TSDB，数据核心存储与查询。 ➢ HTTP server，对外提供 HTTP 服务。

采集层

采集层分为两类，一类是生命周期较短的作业，还有一类是生命周期较长的作业。 ➢ 短作业：直接通过 API，在退出时间指标推送给 Pushgateway。 ➢ 长作业：Retrieval 组件直接从 Job 或者 Exporter 拉取数据。

应用层

应用层主要分为两种，一种是 AlertManager，另一种是数据可视化。 ➢ AlertManager 对接 Pagerduty，是一套付费的监控报警系统。可实现短信报警、5 分钟无人 ack 打 电话通知、仍然无人 ack，通知值班人员 Manager... Emial，发送邮件 ... ... ➢ 数据可视化 Prometheus build-in WebUI Grafana 其他基于 API 开发的客户端

Prometheus 的安装

安装Prometheus Server

Prometheus 基于 Golang 编写，编译后的软件包，不依赖于任何的第三方依赖。只需 要下载对应平台的二进制包，解压并且添加基本的配置即可正常启动 Prometheus Server。

上传安装包

上传 prometheus-2.29.1.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

[root@localhost sofaware]# ll
total 172860
-rw-r--r-- 1 root root 25115445 Sep 17 07:47 alertmanager-0.23.0.linux-amd64.tar.gz
-rw-r--r-- 1 root root    71283 Sep 17 07:47 flink-dashboard_rev3.json
-rw-r--r-- 1 root root 60454974 Sep 17 07:48 grafana-enterprise-8.1.2.linux-amd64.tar.gz
-rw-r--r-- 1 root root  8898481 Sep 17 07:47 node_exporter-1.2.2.linux-amd64.tar.gz
-rw-r--r-- 1 root root   105600 Sep 17 07:47 node-exporter-for-prometheus-dashboard-cn-v20201010_rev24.json
-rw-r--r-- 1 root root 73156341 Sep 17 07:48 prometheus-2.29.1.linux-amd64.tar.gz
-rw-r--r-- 1 root root  9193207 Sep 17 07:47 pushgateway-1.4.1.linux-amd64.tar.gz

解压安装包

解压到/opt/module 目录下

[root@localhost sofaware]# tar -zxvf prometheus-2.29.1.linux-amd64.tar.gz  -C /opt/module/

修改文件的目录名

[root@localhost module]# mv prometheus-2.29.1.linux-amd64 prometheus-2.29.1

Prometheus配置语法校验

[root@localhost prometheus-2.29.1]# ./promtool check config prometheus.yml

启动Prometheus

此时采用默认配置启动 prometheus server 看下界面, 稍后介绍如何监控Linux 服务器

[root@localhost prometheus-2.29.1]# ./prometheus --config.file=prometheus.yml

通过浏览器访问Prometheus

默认的端口是9090，所以直接访问http://ip:9090

发现target 中只有 prometheus server, 因为我们还没有加入其他监控。

以下是prometheus默认的配置文件，如果需要监控某一个服务或者集群状态需要在后面添加。

[root@localhost prometheus-2.29.1]# cat prometheus.yml
# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["localhost:9090"]

  - job_name: 'Linux'
    file_sd_configs:
    - files: ['/opt/module/prometheus-2.29.1/sd_cfg/Linux.yml']
      refresh_interval: 5s

Prometheus开机自启

需要设置system的service服务自启动，添加一个服务自启动项。需要创建一个Prometheus的service。

[root@localhost prometheus-2.29.1]# touch /usr/lib/systemd/system/prometheus.service
[root@localhost prometheus-2.29.1]# vim /usr/lib/systemd/system/prometheus.service

将如下配置写入prometheus.servie.

Prometheus启动参数说明：

• --config.file -- 指明prometheus的配置文件路径
• --web.enable-lifecycle -- 指明prometheus配置更改后可以进行热加载
• --storage.tsdb.path -- 指明监控数据存储路径
• --storage.tsdb.retention --指明数据保留时间

[root@localhost prometheus-2.29.1]# cat /usr/lib/systemd/system/prometheus.service
[Unit]
Description=Prometheus
Documentation=https://prometheus.io/
After=network.target

[Service]
Type=simple
User=root
ExecStart=/opt/module/prometheus-2.29.1/prometheus --config.file=/opt/module/prometheus-2.29.1/prometheus.yml --web.enable-lifecycle  --storage.tsdb.path=/opt/module/prometheus-2.29.1/data --storage.tsdb.retention=60d
Restart=on-failure

[Install]
WantedBy=multi-user.target

设置开机启动

[root@localhost prometheus-2.29.1]# systemctl daemon-reload
[root@localhost prometheus-2.29.1]# systemctl enable prometheus.service
[root@localhost prometheus-2.29.1]# systemctl status prometheus.service
[root@localhost prometheus-2.29.1]# systemctl restart prometheus.service

说明: prometheus在2.0之后默认的热加载配置没有开启, 配置修改后, 需要重启prometheus server才能生效, 这对于生产环境的监控是不可容忍的, 所以我们需要开启prometheus server的配置热加载功能.

在启动prometheus时加上参数 web.enable-lifecycle , 可以启用配置的热加载, 配置修改后, 热加载配置:

curl -X POST  http://localhost:9090/-/reload

node_exporter安装配置

解压软件包

解压软件包到/usr/local/下面，然后创建一个软连接。

[root@localhost sofaware]# tar -zxvf node_exporter-1.2.2.linux-amd64.tar.gz -C /usr/local/
[root@localhost sofaware]# ln -sv /usr/local/node_exporter-0.18.1.linux-amd64 /usr/local/node_exporter 

node_exporter开机自启

node_exporter的系统服务配置

[root@localhost sofaware]# touch /usr/lib/systemd/system/node_exporter.service 
[root@localhost sofaware]# vim /usr/lib/systemd/system/node_exporter.service

[Unit]
Description=node_exporter
After=network.target

[Service]
Type=simple
User=root
ExecStart=/usr/local/node_exporter/node_exporter
Restart=on-failure
[Install]
WantedBy=multi-user.target

开启服务

然后再更新配置文件，生效之后开启服务，然后设置开机自启状态。

[root@localhost sofaware]# systemctl daemon-reload
[root@localhost sofaware]# systemctl enable node_exporter.service
[root@localhost sofaware]# systemctl start node_exporter.service

node_exporter启动成功后, 你就可以通过如下api看到你的监控数据了，使用http://ip:9100/metrics访问

服务配置

将这个api 配置到 prometheus server中, 并通过grafana进行展示

将 node_exporter 加入 prometheus.yml配置中：

[root@localhost prometheus-2.29.1]# cat prometheus.yml
  - job_name: 'Linux'
    file_sd_configs:
    - files: ['/opt/module/prometheus-2.29.1/sd_cfg/Linux.yml']
      refresh_interval: 5s

并在文件/opt/module/prometheus-2.29.1/sd_cfg/Linux.yml中写入如下内容

[root@localhost sd_cfg]# cat Linux.yml
- targets: ['192.168.1.105:9100']  #这里填写要监控的IP
  labels:
    name: Linux-node1

如果你的服务器少, 要监控的组件少的话, 你也可以将配置都写入prometheus的主配置文件prometheus.yml中。

重载prometheus配置

[root@localhost sofaware]# curl -X POST  http://localhost:9090/-/reload

数据展示Grafana安装配置

安装Grafana

下载地址: https://grafana.com/grafana/download

拉取Centos7的Grafana的安装包，然后使用yum安装grafana

[root@localhost ~]# wget https://dl.grafana.com/enterprise/release/grafana-enterprise-8.3.1-1.x86_64.rpm
[root@localhost ~]# yum install grafana-enterprise-8.3.1-1.x86_64.rpm

登录Grafana

granafa默认端口为3000，可以在浏览器中输入http://localhost:3000/ granafa首次登录账户名和密码admin/admin，可以修改

配置Grafana监控

1. 配置数据源Data sources->Add data source -> Prometheus，输入prometheus数据源的信息，主要是输入name和url

2. 点击+号添加Import -> 输入11074，导入Linux监控模板. 并配置数据源为Prometheus，即上一步中的name

3. 查看监控的dashboard

配置完保存后即可看到逼格非常高的系统主机节点监控信息，包括系统运行时间, 内存和CPU的配置, CPU、内存、磁盘、网络流量等信息, 以及磁盘IO、CPU温度等信息。