基于指标的告警
在本教程中,我们将针对我们在为 Go 编写的 HTTP 服务器添加代码插桩教程中先前插桩的 ping_request_count
指标创建告警。
在本教程中,我们将在 ping_request_count
指标大于 5 时发出告警。请查看真实世界的最佳实践,以了解更多关于告警原则的信息。
从此处下载适用于您操作系统的最新版 Alertmanager。
Alertmanager 支持多种接收器,如 email
、webhook
、pagerduty
、slack
等,当告警触发时,它可以通过这些接收器进行通知。您可以在此处找到接收器列表以及如何配置它们。在本教程中,我们将使用 webhook
作为接收器,请前往 webhook.site 并复制 webhook URL,我们稍后将用它来配置 Alertmanager。
首先,让我们用 webhook 接收器来设置 Alertmanager。
alertmanager.yml
global:
resolve_timeout: 5m
route:
receiver: webhook_receiver
receivers:
- name: webhook_receiver
webhook_configs:
- url: '<INSERT-YOUR-WEBHOOK>'
send_resolved: false
在 alertmanager.yml 文件中,将 <INSERT-YOUR-WEBHOOK>
替换为我们之前复制的 webhook,然后使用以下命令运行 Alertmanager。
alertmanager --config.file=alertmanager.yml
Alertmanager 启动并运行后,请访问 https://:9093,您应该能够访问它。
现在我们已经配置了带有 webhook 接收器的 Alertmanager,让我们将规则添加到 Prometheus 配置中。
prometheus.yml
global:
scrape_interval: 15s
evaluation_interval: 10s
rule_files:
- rules.yml
alerting:
alertmanagers:
- static_configs:
- targets:
- localhost:9093
scrape_configs:
- job_name: prometheus
static_configs:
- targets: ["localhost:9090"]
- job_name: simple_server
static_configs:
- targets: ["localhost:8090"]
请注意,evaluation_interval
、rule_files
和 alerting
部分已添加到 Prometheus 配置中。evaluation_interval
定义了规则评估的间隔,rule_files
接受一个定义规则的 yaml 文件数组,而 alerting
部分定义了 Alertmanager 的配置。正如本教程开头所提到的,我们将创建一个基本规则,当 ping_request_count
的值大于 5 时,我们希望触发一个告警。
rules.yml
groups:
- name: Count greater than 5
rules:
- alert: CountGreaterThan5
expr: ping_request_count > 5
for: 10s
现在,让我们使用以下命令运行 Prometheus。
prometheus --config.file=./prometheus.yml
在浏览器中打开 https://:9090/rules 查看规则。接下来,运行已插桩的 ping 服务器,并访问 https://:8090/ping 端点并刷新页面至少 6 次。您可以通过访问 https://:8090/metrics 端点来检查 ping 计数。要查看告警状态,请访问 https://:9090/alerts。一旦条件 ping_request_count > 5
持续为真超过 10 秒,state
将变为 FIRING
。现在,如果您返回到您的 webhook.site
URL,您将看到告警消息。
同样地,Alertmanager 也可以配置其他接收器,以便在告警触发时进行通知。