对 Scalefastr 的访谈

继续我们与 Prometheus 用户进行访谈的系列报道,Scalefastr 的 Kevin Burton 讲述了他们如何使用 Prometheus。

您能介绍一下自己和 Scalefastr 的业务吗?

我叫 Kevin Burton,是 Scalefastr 的首席执行官。我的背景是分布式系统,之前我经营过 Datastreamer,一家构建了拍字节级分布式社交媒体爬虫和搜索引擎的公司。

在 Datastreamer,我们在基础设施方面遇到了可伸缩性问题,并构建了一个基于 Debian、Elasticsearch、Cassandra 和 Kubernetes 的高性能集群。

我们发现许多客户也在基础设施方面遇到困难,他们为在 AWS 和 Google Cloud 上托管大量内容所支付的费用之高让我感到惊讶。

我们持续评估在云中运行的成本,对我们来说,托管成本将是当前支付的 5-10 倍左右。

我们决定推出一个基于开源和云原生技术的新云平台,例如 Kubernetes、Prometheus、Elasticsearch、Cassandra、Grafana、Etcd 等。

我们目前正在托管一些拍字节规模的客户,并于本月软启动我们的新平台。

您在使用 Prometheus 之前的监控经验如何?

在 Datastreamer,我们发现指标是快速迭代能力的关键。平台的 Observability(可观测性)成为我们所推崇的理念,我们集成了像 Dropwizard Metrics 这样的工具,以便轻松开发平台的分析功能。

我们构建了一个基于 KairosDB、Grafana 以及我们自己的(简单的)可视化引擎的平台,这个平台运行良好持续了相当长一段时间。

我们发现 KairosDB 的关键问题在于 Prometheus 的采用率和客户需求。

此外,Prometheus 的优点在于它支持由项目自身或社区实现的 Exporter(导出器)。

使用 KairosDB 时,我们经常难以构建自己的 Exporter。与 Prometheus 相比,KairosDB 的 Exporter 已经存在的可能性相当低。

例如,KairosDB 支持 CollectD,但在 Debian 中支持得不是很好,并且 CollectD 存在一些实际 bug,使其在生产环境中无法可靠工作。

使用 Prometheus,您可以很快地启动和运行(系统安装相当容易),并且为您的平台准备好 Exporter 的可能性非常高。

此外,我们预计一旦有像 Scalefastr 这样的托管平台将其集成作为标准化和受支持的产品,客户应用程序将开始标准化使用 Prometheus 指标。

了解您的应用程序性能至关重要,而 Prometheus 的高可扩展性是实现这一点所必需的。

您为什么决定关注 Prometheus?

我们最初很好奇其他人是如何监控他们的 Kubernetes 和容器应用程序的。

容器的主要挑战之一在于它们可以快速地出现和消失,留下需要分析的日志和指标数据。

当我们看到人们在生产环境中成功地将 Prometheus 与容器优先架构一起使用,并且它支持 Exporter 和仪表盘时,我们很清楚应该研究 Prometheus 作为我们的分析后端。

One of Scalefastr's Grafana dashboards

你们是如何过渡的?

对于我们来说,过渡过程相对轻松,因为 Scalefastr 是一个全新的环境(greenfield environment)。

架构大部分是新的,限制因素很少。

我们的主要目标是在裸机上部署,但在现有标准化硬件之上构建云功能。

我们的想法是让集群中的所有分析都由 Prometheus 提供支持。

我们为客户提供他们自己的“管理”基础设施,包括 Prometheus、Grafana、Elasticsearch、Kibana 以及 Kubernetes 控制平面。我们使用 Ansible 来协调这个系统,Ansible 负责初始机器设置(ssh、核心 Debian 软件包等)和基线配置。

然后我们部署 Prometheus,客户配置所需的所有 Exporter,以及用于 Grafana 的仪表盘。

我们发现一个问题是,Grafana.com 上的一些仪表盘是为 Prometheus 1.x 编写的,无法顺利移植到 2.x。事实证明,2.x 系列中只有少数几个函数不存在,许多函数只需要稍作调整即可。此外,一些仪表盘是为早期版本的 Grafana 编写的。

为了解决这个问题,我们本周宣布了一个项目,旨在标准化和改进针对 Cassandra、Elasticsearch、操作系统以及 Prometheus 本身的仪表盘。我们上周开源了它,并已发布到 Github

我们希望这能方便其他人迁移到 Prometheus。

我们想要改进的一点是将其与我们的 Grafana 后端自动同步,同时也将这些仪表盘上传到 Grafana.com。

我们还发布了 Prometheus 配置,以便标签与我们的 Grafana 模板正确配合使用。这使您可以通过下拉菜单选择更具体的指标,例如集群名称、实例名称等。

Using template variables in Grafana dashboards

迁移后您看到了哪些改进?

易于部署、高性能和标准化的 Exporter 使我们易于切换。此外,后端相当容易配置(基本上,只有守护程序本身),而且活动部件不多,这也使得决定变得容易。

您认为 Scalefastr 和 Prometheus 的未来如何?

目前我们正在直接在裸机上部署 Elasticsearch 和 Cassandra。我们正致力于将它们直接在 Kubernetes 之上的容器中运行,并努力使用容器存储接口(CSI)来实现这一点。

在此之前,我们需要让 Prometheus 的服务发现工作起来,这是我们尚未尝试的功能。目前我们通过 Ansible 部署和配置 Prometheus,但这显然无法与 Kubernetes 协同扩展(甚至无法工作),因为容器会随着工作负载的变化而出现和消失。

我们还在努力改进标准仪表盘和警报功能。我们希望添加的一个功能(也许作为一个容器)是支持基于 Holt-Winters 预测的警报。

这基本上能让我们在严重性能问题发生之前就进行预测。而不是等到出现故障(比如磁盘空间不足)后才采取纠正措施。

在一定程度上,Kubernetes 有助于解决这个问题,因为我们可以根据水位线向集群添加节点。一旦资源利用率过高,我们就可以自动扩展。

我们对 Prometheus 的未来感到非常兴奋,尤其现在我们正在推进 2.x 系列版本,而且 CNCF 的协作似乎进展顺利。