理解并使用多目标导出器模式
本指南将向您介绍多目标导出器模式。为此,我们将
- 描述多目标导出器模式及其使用原因,
- 运行 blackbox 导出器作为该模式的示例,
- 为 blackbox 导出器配置自定义查询模块,
- 让 blackbox 导出器对 Prometheus 网站执行基本的指标查询,
- 研究一种流行的配置 Prometheus 以使用重新标记(relabeling)抓取导出器的模式。
多目标导出器模式?
多目标 导出器模式是指一种特定设计,其中
- 导出器将通过网络协议获取目标的指标。
- 导出器无需在获取指标的机器上运行。
- 导出器将目标和查询配置字符串作为 Prometheus GET 请求的参数。
- 导出器在收到 Prometheus 的 GET 请求后开始抓取,并在抓取完成后。
- 导出器可以查询多个目标。
此模式仅用于某些导出器,例如 blackbox 和 SNMP 导出器。
原因是,我们要么无法在目标上运行导出器(例如,使用 SNMP 的网络设备),要么我们明确关注距离(例如,从网络外部特定点到网站的延迟和可达性),这是 blackbox 导出器的一个常见用例。
运行多目标导出器
多目标导出器对其运行环境非常灵活,可以通过多种方式运行。例如,作为常规程序、在容器中、作为后台服务、在裸机或虚拟机上。由于它们通过网络进行查询和被查询,因此需要开放相应的端口。除此之外,它们对资源消耗很少。
现在,亲自尝试一下吧!
在终端中运行以下命令,使用 Docker 启动 blackbox 导出器容器。根据您的系统配置,您可能需要在命令前加上 sudo
docker run -p 9115:9115 prom/blackbox-exporter
您应该会看到几行日志,如果一切顺利,最后一行应该显示 msg="Listening on address"
,如下所示
level=info ts=2018-10-17T15:41:35.4997596Z caller=main.go:324 msg="Listening on address" address=:9115
多目标导出器的基本查询
有两种查询方式
- 查询导出器本身。它有自己的指标,通常在
/metrics
路径下可用。 - 查询导出器以抓取另一个目标。通常在“描述性”端点处可用,例如
/probe
。在使用多目标导出器时,这可能是您主要感兴趣的。
您可以在另一个终端中使用 curl 手动尝试第一种查询类型,或使用此 链接
curl 'localhost:9115/metrics'
响应应该类似这样
# HELP blackbox_exporter_build_info A metric with a constant '1' value labeled by version, revision, branch, and goversion from which blackbox_exporter was built.
# TYPE blackbox_exporter_build_info gauge
blackbox_exporter_build_info{branch="HEAD",goversion="go1.10",revision="4a22506cf0cf139d9b2f9cde099f0012d9fcabde",version="0.12.0"} 1
# HELP go_gc_duration_seconds A summary of the GC invocation durations.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 0
go_gc_duration_seconds{quantile="0.25"} 0
go_gc_duration_seconds{quantile="0.5"} 0
go_gc_duration_seconds{quantile="0.75"} 0
go_gc_duration_seconds{quantile="1"} 0
go_gc_duration_seconds_sum 0
go_gc_duration_seconds_count 0
# HELP go_goroutines Number of goroutines that currently exist.
# TYPE go_goroutines gauge
go_goroutines 9
[…]
# HELP process_cpu_seconds_total Total user and system CPU time spent in seconds.
# TYPE process_cpu_seconds_total counter
process_cpu_seconds_total 0.05
# HELP process_max_fds Maximum number of open file descriptors.
# TYPE process_max_fds gauge
process_max_fds 1.048576e+06
# HELP process_open_fds Number of open file descriptors.
# TYPE process_open_fds gauge
process_open_fds 7
# HELP process_resident_memory_bytes Resident memory size in bytes.
# TYPE process_resident_memory_bytes gauge
process_resident_memory_bytes 7.8848e+06
# HELP process_start_time_seconds Start time of the process since unix epoch in seconds.
# TYPE process_start_time_seconds gauge
process_start_time_seconds 1.54115492874e+09
# HELP process_virtual_memory_bytes Virtual memory size in bytes.
# TYPE process_virtual_memory_bytes gauge
process_virtual_memory_bytes 1.5609856e+07
这些是 Prometheus 格式的指标。它们来自导出器自身的埋点,告诉我们导出器运行时的状态。这被称为白盒监控,在日常运维实践中非常有用。如果您好奇,可以查阅我们关于如何为自己的应用程序埋点的指南。
对于第二种查询类型,我们需要在 HTTP GET 请求中提供目标(target)和模块(module)作为参数。目标可以是 URI 或 IP,模块必须在导出器的配置中定义。blackbox 导出器容器带有一个有意义的默认配置。我们将使用目标 prometheus.io
和预定义模块 http_2xx
。它告诉导出器像浏览器访问 prometheus.io
那样发出一个 GET 请求,并期望收到 200 OK 响应。
您现在可以在终端中使用 curl 命令让 blackbox 导出器查询 prometheus.io
curl 'localhost:9115/probe?target=prometheus.io&module=http_2xx'
这将返回大量指标
# HELP probe_dns_lookup_time_seconds Returns the time taken for probe dns lookup in seconds
# TYPE probe_dns_lookup_time_seconds gauge
probe_dns_lookup_time_seconds 0.061087943
# HELP probe_duration_seconds Returns how long the probe took to complete in seconds
# TYPE probe_duration_seconds gauge
probe_duration_seconds 0.065580871
# HELP probe_failed_due_to_regex Indicates if probe failed due to regex
# TYPE probe_failed_due_to_regex gauge
probe_failed_due_to_regex 0
# HELP probe_http_content_length Length of http content response
# TYPE probe_http_content_length gauge
probe_http_content_length 0
# HELP probe_http_duration_seconds Duration of http request by phase, summed over all redirects
# TYPE probe_http_duration_seconds gauge
probe_http_duration_seconds{phase="connect"} 0
probe_http_duration_seconds{phase="processing"} 0
probe_http_duration_seconds{phase="resolve"} 0.061087943
probe_http_duration_seconds{phase="tls"} 0
probe_http_duration_seconds{phase="transfer"} 0
# HELP probe_http_redirects The number of redirects
# TYPE probe_http_redirects gauge
probe_http_redirects 0
# HELP probe_http_ssl Indicates if SSL was used for the final redirect
# TYPE probe_http_ssl gauge
probe_http_ssl 0
# HELP probe_http_status_code Response HTTP status code
# TYPE probe_http_status_code gauge
probe_http_status_code 0
# HELP probe_http_version Returns the version of HTTP of the probe response
# TYPE probe_http_version gauge
probe_http_version 0
# HELP probe_ip_protocol Specifies whether probe ip protocol is IP4 or IP6
# TYPE probe_ip_protocol gauge
probe_ip_protocol 6
# HELP probe_success Displays whether or not the probe was a success
# TYPE probe_success gauge
probe_success 0
请注意,几乎所有指标的值都为 0
。最后一个指标显示 probe_success 0
。这意味着探测器无法成功访问 prometheus.io
。原因隐藏在 probe_ip_protocol
指标中,其值为 6
。默认情况下,探测器使用 IPv6,除非另行指定。但 Docker 守护进程默认会阻止 IPv6。因此,在 Docker 容器中运行的 blackbox 导出器无法通过 IPv6 连接。
我们现在可以告诉 Docker 允许 IPv6,或者告诉 blackbox 导出器使用 IPv4。在实际应用中,两者都有意义,而且通常情况下,“该怎么做?”的答案是“视情况而定”。由于这是一份导出器指南,我们将更改导出器,并借此机会配置一个自定义模块。
配置模块
模块在 Docker 容器内的一个名为 config.yml
的文件中预定义,该文件是 GitHub 仓库中 blackbox.yml 的副本。
我们将复制此文件,根据自己的需求进行 调整,并告知导出器使用我们的配置文件,而不是容器中包含的那个。
首先使用 curl 或您的浏览器下载文件
curl -o blackbox.yml https://raw.githubusercontent.com/prometheus/blackbox_exporter/master/blackbox.yml
在编辑器中打开它。前几行看起来像这样
modules:
http_2xx:
prober: http
http_post_2xx:
prober: http
http:
method: POST
YAML 使用空白缩进表示层级结构,因此您可以识别出定义了名为 http_2xx
和 http_post_2xx
的两个 modules
,并且它们都具有一个 http
探测器,其中一个的方法值被特别设置为 POST
。您现在将通过将 http
探测器的 preferred_ip_protocol
明确设置为字符串 ip4
来更改 http_2xx
模块。
modules:
http_2xx:
prober: http
http:
preferred_ip_protocol: "ip4"
http_post_2xx:
prober: http
http:
method: POST
如果您想了解更多关于可用探测器和选项的信息,请查阅文档。
现在我们需要告诉 blackbox 导出器使用我们刚刚更改的文件。您可以使用 --config.file="blackbox.yml"
标志来完成。但是因为我们正在使用 Docker,所以我们必须首先使用 --mount
命令将此文件在容器内部可用。
注意如果您使用 macOS,您首先需要允许 Docker 守护进程访问您的blackbox.yml
所在的目录。您可以通过点击菜单栏中的小 Docker 鲸鱼图标,然后选择Preferences
->File Sharing
->+
来完成。之后,按下Apply & Restart
。
首先,切换到旧容器的终端并按 Ctrl+C
停止它。确保您位于包含 blackbox.yml
的目录中。然后运行此命令。它很长,但我们将对其进行解释
docker \
run -p 9115:9115 \
--mount type=bind,source="$(pwd)"/blackbox.yml,target=/blackbox.yml,readonly \
prom/blackbox-exporter \
--config.file="/blackbox.yml"
通过此命令,您告诉 docker
- 运行一个容器,将容器外部的端口
9115
映射到容器内部的端口9115
。 - 将当前目录(
$(pwd)
代表打印工作目录)中的blackbox.yml
文件以只读模式挂载到容器内的/blackbox.yml
。 - 使用 Docker Hub 上的
prom/blackbox-exporter
镜像。 - 运行 blackbox-exporter,并使用
--config.file
标志告知其使用/blackbox.yml
作为配置文件。
如果一切正确,您应该会看到类似这样的内容
level=info ts=2018-10-19T12:40:51.650462756Z caller=main.go:213 msg="Starting blackbox_exporter" version="(version=0.12.0, branch=HEAD, revision=4a22506cf0cf139d9b2f9cde099f0012d9fcabde)"
level=info ts=2018-10-19T12:40:51.653357722Z caller=main.go:220 msg="Loaded config file"
level=info ts=2018-10-19T12:40:51.65349635Z caller=main.go:324 msg="Listening on address" address=:9115
现在您可以在终端中尝试我们新的使用 IPv4 的模块 http_2xx
curl 'localhost:9115/probe?target=prometheus.io&module=http_2xx'
这将返回类似这样的 Prometheus 指标
# HELP probe_dns_lookup_time_seconds Returns the time taken for probe dns lookup in seconds
# TYPE probe_dns_lookup_time_seconds gauge
probe_dns_lookup_time_seconds 0.02679421
# HELP probe_duration_seconds Returns how long the probe took to complete in seconds
# TYPE probe_duration_seconds gauge
probe_duration_seconds 0.461619124
# HELP probe_failed_due_to_regex Indicates if probe failed due to regex
# TYPE probe_failed_due_to_regex gauge
probe_failed_due_to_regex 0
# HELP probe_http_content_length Length of http content response
# TYPE probe_http_content_length gauge
probe_http_content_length -1
# HELP probe_http_duration_seconds Duration of http request by phase, summed over all redirects
# TYPE probe_http_duration_seconds gauge
probe_http_duration_seconds{phase="connect"} 0.062076202999999996
probe_http_duration_seconds{phase="processing"} 0.23481845699999998
probe_http_duration_seconds{phase="resolve"} 0.029594103
probe_http_duration_seconds{phase="tls"} 0.163420078
probe_http_duration_seconds{phase="transfer"} 0.002243199
# HELP probe_http_redirects The number of redirects
# TYPE probe_http_redirects gauge
probe_http_redirects 1
# HELP probe_http_ssl Indicates if SSL was used for the final redirect
# TYPE probe_http_ssl gauge
probe_http_ssl 1
# HELP probe_http_status_code Response HTTP status code
# TYPE probe_http_status_code gauge
probe_http_status_code 200
# HELP probe_http_uncompressed_body_length Length of uncompressed response body
# TYPE probe_http_uncompressed_body_length gauge
probe_http_uncompressed_body_length 14516
# HELP probe_http_version Returns the version of HTTP of the probe response
# TYPE probe_http_version gauge
probe_http_version 1.1
# HELP probe_ip_protocol Specifies whether probe ip protocol is IP4 or IP6
# TYPE probe_ip_protocol gauge
probe_ip_protocol 4
# HELP probe_ssl_earliest_cert_expiry Returns earliest SSL cert expiry in unixtime
# TYPE probe_ssl_earliest_cert_expiry gauge
probe_ssl_earliest_cert_expiry 1.581897599e+09
# HELP probe_success Displays whether or not the probe was a success
# TYPE probe_success gauge
probe_success 1
# HELP probe_tls_version_info Contains the TLS version used
# TYPE probe_tls_version_info gauge
probe_tls_version_info{version="TLS 1.3"} 1
您可以看到探测成功,并获得了许多有用的指标,例如按阶段划分的延迟、状态码、SSL 状态或 Unix 时间格式的证书过期时间。blackbox 导出器还在 localhost:9115 提供了一个小型 Web 界面,供您查看最近的几次探测、加载的配置和调试信息。它甚至提供了一个直接探测 prometheus.io
的链接。如果您想知道为什么某些东西不起作用,这会非常方便。
使用 Prometheus 查询多目标导出器
到目前为止,一切顺利。恭喜您。blackbox 导出器工作正常,您可以手动告知它查询远程目标。您快成功了。现在您需要告诉 Prometheus 为我们执行查询。
下面是一个最小的 Prometheus 配置。它告诉 Prometheus 抓取导出器本身,就像我们之前使用 curl 'localhost:9115/metrics'
所做的那样
注意如果您使用 Docker for Mac 或 Docker for Windows,则不能在最后一行使用localhost:9115
,而必须使用host.docker.internal:9115
。这与在这些操作系统上实现 Docker 所使用的虚拟机有关。您不应该在生产环境中使用此配置。
Linux 上的 prometheus.yml
global:
scrape_interval: 5s
scrape_configs:
- job_name: blackbox # To get metrics about the exporter itself
metrics_path: /metrics
static_configs:
- targets:
- localhost:9115
macOS 和 Windows 上的 prometheus.yml
global:
scrape_interval: 5s
scrape_configs:
- job_name: blackbox # To get metrics about the exporter itself
metrics_path: /metrics
static_configs:
- targets:
- host.docker.internal:9115
现在运行一个 Prometheus 容器,并告诉它挂载我们上面提到的配置文件。由于在容器中访问主机网络的地址方式不同,因此在 Linux 上的命令会与 macOS 和 Windows 略有不同。
在 Linux 上运行 Prometheus(请勿在生产环境中使用 --network="host"
)
docker \
run --network="host"\
--mount type=bind,source="$(pwd)"/prometheus.yml,target=/prometheus.yml,readonly \
prom/prometheus \
--config.file="/prometheus.yml"
在 macOS 和 Windows 上运行 Prometheus
docker \
run -p 9090:9090 \
--mount type=bind,source="$(pwd)"/prometheus.yml,target=/prometheus.yml,readonly \
prom/prometheus \
--config.file="/prometheus.yml"
此命令的工作方式与使用配置文件运行 blackbox 导出器类似。
如果一切正常,您应该能够访问 localhost:9090/targets,并在 blackbox
下看到一个状态为绿色 UP
的端点。如果您看到红色的 DOWN
,请确保您之前启动的 blackbox 导出器仍在运行。如果您什么也没看到或者看到黄色的 UNKNOWN
,那说明您操作太快了,需要再等几秒钟才能重新加载浏览器选项卡。
要让 Prometheus 查询 "localhost:9115/probe?target=prometheus.io&module=http_2xx"
,您需要在 Prometheus 配置文件 prometheus.yml
中添加另一个抓取作业 blackbox-http
,将 metrics_path
设置为 /probe
,并将参数设置在 params:
下。
global:
scrape_interval: 5s
scrape_configs:
- job_name: blackbox # To get metrics about the exporter itself
metrics_path: /metrics
static_configs:
- targets:
- localhost:9115 # For Windows and macOS replace with - host.docker.internal:9115
- job_name: blackbox-http # To get metrics about the exporter’s targets
metrics_path: /probe
params:
module: [http_2xx]
target: [prometheus.io]
static_configs:
- targets:
- localhost:9115 # For Windows and macOS replace with - host.docker.internal:9115
保存配置文件后,切换到 Prometheus Docker 容器所在的终端,按 Ctrl+C
停止它,然后再次使用现有命令启动它以重新加载配置。
终端应该返回消息 "Server is ready to receive web requests."
,几秒钟后您应该开始在 您的 Prometheus 中看到彩色的图表。
这可以工作,但有一些缺点
- 实际目标位于参数配置中,这非常不寻常,以后难以理解。
- 实例标签的值是 blackbox 导出器的地址,这在技术上是正确的,但并非我们所关心的。
- 我们无法看到探测了哪个 URL。这不切实际,如果我们探测多个 URL,还会将不同的指标混淆在一起。
为了解决这个问题,我们将使用重新标记(relabeling)。重新标记在这里很有用,因为在 Prometheus 内部,许多东西都是用内部标签配置的。具体细节很复杂,超出了本指南的范围。因此,我们将只讨论必要的内容。但如果您想了解更多,请查看这个演讲。目前,您只需理解以下几点即可:
- 所有以
__
开头的标签在抓取后都会被删除。大多数内部标签都以__
开头。 - 您可以设置名为
__param_<name>
的内部标签。这些标签会为抓取请求设置键为<name>
的 URL 参数。 - 有一个名为
__address__
的内部标签,它由static_configs
下的目标设置,其值是抓取请求的主机名。默认情况下,它随后被用于设置instance
标签的值,该标签附加到每个指标,并告诉您指标的来源。
这是您将用于此操作的配置。如果一下子信息量有点大,请不用担心,我们将逐步讲解
global:
scrape_interval: 5s
scrape_configs:
- job_name: blackbox # To get metrics about the exporter itself
metrics_path: /metrics
static_configs:
- targets:
- localhost:9115 # For Windows and macOS replace with - host.docker.internal:9115
- job_name: blackbox-http # To get metrics about the exporter’s targets
metrics_path: /probe
params:
module: [http_2xx]
static_configs:
- targets:
- https://prometheus.ac.cn # Target to probe with http
- https://prometheus.ac.cn # Target to probe with https
- http://example.com:8080 # Target to probe with http on port 8080
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: localhost:9115 # The blackbox exporter’s real hostname:port. For Windows and macOS replace with - host.docker.internal:9115
与上次的配置相比,有什么新变化?
params
不再包含 target
。相反,我们将实际目标添加到 static_configs:
下的 targets
中。我们现在也可以使用多个目标了
params:
module: [http_2xx]
static_configs:
- targets:
- https://prometheus.ac.cn # Target to probe with http
- https://prometheus.ac.cn # Target to probe with https
- http://example.com:8080 # Target to probe with http on port 8080
relabel_configs
包含新的重新标记规则
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: localhost:9115 # The blackbox exporter’s real hostname:port. For Windows and macOS replace with - host.docker.internal:9115
在应用重新标记规则之前,Prometheus 将发出的请求 URI 看起来像这样:"https://prometheus.ac.cn/probe?module=http_2xx"
。重新标记后,它将变成这样:"https://:9115/probe?target=https://prometheus.ac.cn&module=http_2xx"
。
现在让我们探讨每条规则是如何实现这一点的
首先,我们从 __address__
标签(其中包含来自 targets
的值)中获取值,并将它们写入一个新的标签 __param_target
,这将为 Prometheus 抓取请求添加一个 target
参数
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
在此之后,我们设想的 Prometheus 请求 URI 现在包含一个 target
参数:"https://prometheus.ac.cn/probe?target=https://prometheus.ac.cn&module=http_2xx"
。
然后我们从 __param_target
标签中获取值,并用这些值创建一个 instance
标签。
relabel_configs:
- source_labels: [__param_target]
target_label: instance
我们的请求不会改变,但从我们的请求返回的指标现在将带有一个 instance="https://prometheus.ac.cn"
的标签。
之后,我们将值 localhost:9115
(我们导出器的 URI)写入 __address__
标签。这将被用作 Prometheus 抓取请求的主机名和端口。这样它就会查询导出器,而不是直接查询目标 URI。
relabel_configs:
- target_label: __address__
replacement: localhost:9115 # The blackbox exporter’s real hostname:port. For Windows and macOS replace with - host.docker.internal:9115
我们的请求现在是 "localhost:9115/probe?target=https://prometheus.ac.cn&module=http_2xx"
。通过这种方式,我们可以在那里保留实际目标,将它们作为 instance
标签的值,同时让 Prometheus 对 blackbox 导出器发出请求。
人们通常会将这些与特定的服务发现结合使用。有关更多信息,请查阅配置文档。使用它们没有问题,因为它们会像 static_configs
下定义的目标一样写入 __address__
标签。
就是这样。重启 Prometheus Docker 容器,并查看您的指标。请注意选择指标实际收集的时间段。
摘要
在本指南中,您学习了多目标导出器模式的工作原理,如何运行带有自定义模块的 blackbox 导出器,以及如何使用重新标记(relabeling)配置 Prometheus 以抓取带有探测器标签的指标。