告警规则

告警规则允许您基于 Prometheus 表达式语言表达式定义告警条件,并将有关触发告警的通知发送到外部服务。每当告警表达式在给定时间点产生一个或多个向量元素时,该告警即被视为针对这些元素的标签集处于活动状态。

定义告警规则

告警规则在 Prometheus 中的配置方式与录制规则相同。

包含告警的规则文件示例如下所示

groups:
- name: example
  rules:
  - alert: HighRequestLatency
    expr: job:request_latency_seconds:mean5m{job="myjob"} > 0.5
    for: 10m
    labels:
      severity: page
    annotations:
      summary: High request latency

可选的 for 子句会导致 Prometheus 在首次遇到新的表达式输出向量元素与将告警计为针对此元素触发之间等待一段时间。在本例中,Prometheus 将在每次评估期间检查告警是否持续处于活动状态 10 分钟,然后再触发告警。处于活动状态但尚未触发的元素处于挂起状态。没有 for 子句的告警规则将在第一次评估时变为活动状态。

labels 子句允许指定一组附加标签,这些标签将附加到告警。任何现有的冲突标签都将被覆盖。标签值可以使用模板化。

annotations 子句指定一组信息标签,这些标签可用于存储更长的附加信息,例如告警描述或运行手册链接。注释值可以使用模板化。

模板化

标签和注释值可以使用控制台模板进行模板化。$labels 变量保存告警实例的标签键/值对。配置的外部标签可以通过 $externalLabels 变量访问。$value 变量保存告警实例的计算值。

# To insert a firing element's label values:
{{ $labels.<labelname> }}
# To insert the numeric expression value of the firing element:
{{ $value }}

示例

groups:
- name: example
  rules:

  # Alert for any instance that is unreachable for >5 minutes.
  - alert: InstanceDown
    expr: up == 0
    for: 5m
    labels:
      severity: page
    annotations:
      summary: "Instance {{ $labels.instance }} down"
      description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 minutes."

  # Alert for any instance that has a median request latency >1s.
  - alert: APIHighRequestLatency
    expr: api_http_request_latencies_second{quantile="0.5"} > 1
    for: 10m
    annotations:
      summary: "High request latency on {{ $labels.instance }}"
      description: "{{ $labels.instance }} has a median request latency above 1s (current value: {{ $value }}s)"

运行时检查告警

要手动检查哪些告警处于活动状态(挂起或触发),请导航到 Prometheus 实例的“告警”选项卡。这将向您显示每个已定义告警当前处于活动状态的确切标签集。

对于挂起和触发的告警,Prometheus 还存储形式为 ALERTS{alertname="<alert name>", alertstate="<pending or firing>", <additional alert labels>} 的合成时间序列。只要告警处于指示的活动(挂起或触发)状态,样本值就会设置为 1,并且当不再处于此状态时,该序列将被标记为陈旧。

发送告警通知

Prometheus 的告警规则擅长确定当前出现了什么问题,但它们不是一个完整的通知解决方案。需要另一层来添加汇总、通知速率限制、静默和告警依赖关系,以补充简单的告警定义。在 Prometheus 的生态系统中,Alertmanager承担了此角色。因此,可以将 Prometheus 配置为定期将有关告警状态的信息发送到 Alertmanager 实例,然后由 Alertmanager 负责分发正确的通知。
Prometheus 可以配置为通过其服务发现集成自动发现可用的 Alertmanager 实例。

本文档为开源。请通过提交问题或拉取请求帮助改进它。