专访 Scalefastr
2018年2月8日作者 Brian Brazil
我们将继续对 Prometheus 用户的系列采访，来自 Scalefastr 的 Kevin Burton 将与我们探讨他们是如何使用 Prometheus 的。
您能介绍一下您自己以及 Scalefastr 的业务吗？
我叫 Kevin Burton，是 Scalefastr 的首席执行官。我的背景是分布式系统，之前我曾运营 Datastreamer，这是一家构建了 PB 级分布式社交媒体爬虫和搜索引擎的公司。
在 Datastreamer，我们遇到了基础设施的可扩展性问题，并基于 Debian、Elasticsearch、Cassandra 和 Kubernetes 搭建了一个高性能集群。
我们发现许多客户也在为他们的基础设施而苦恼，我很惊讶他们为了在 AWS 和 Google Cloud 上托管大量内容而支付高昂的费用。
我们持续评估了在云端运行的成本，对我们来说，托管成本大约是我们目前支付的 5-10 倍。
我们决定基于开源和云原生技术，如 Kubernetes、Prometheus、Elasticsearch、Cassandra、Grafana、Etcd 等，推出一个新的云平台。
目前，我们正在为几个 PB 级别的客户提供托管服务，并将在本月进行新平台的软启动。
在使用 Prometheus 之前，您的监控体验是怎样的？
在 Datastreamer，我们发现指标是我们快速迭代能力的关键。对平台的可观察性成为了我们所推崇的东西，并且我们集成了像 Dropwizard Metrics 这样的工具，以便于为我们的平台开发分析功能。
我们基于 KairosDB、Grafana 和我们自己（简单）的可视化引擎构建了一个平台，这个平台在很长一段时间内都运行得相当不错。
我们发现 KairosDB 的关键问题在于其采用率以及客户对 Prometheus 的需求。
此外，Prometheus 的优点在于它支持由项目本身或社区实现的 exporters。
使用 KairosDB 时，我们常常需要费力地构建自己的 exporters。与 Prometheus 相比，找到一个现成的 KairosDB exporter 的可能性要低得多。
例如，虽然有针对 KairosDB 的 CollectD 支持，但在 Debian 中支持得并不好，而且 CollectD 存在一些实际的 bug，导致它在生产环境中无法可靠工作。
使用 Prometheus，你可以很快地启动并运行（系统安装相当简单），而且为你的平台找到一个现成的 exporter 的可能性非常高。
此外，我们预计一旦有了像 Scalefastr 这样将其集成为标准化、受支持产品的托管平台，客户的应用程序将开始以 Prometheus 指标为标准。
对应用程序性能的可视性至关重要，而 Prometheus 的高可扩展性是实现这一点的必要条件。
你们为什么决定研究 Prometheus？
我们最初很好奇其他人是如何监控他们的 Kubernetes 和容器应用程序的。
容器的主要挑战之一是它们可以快速地出现和消失，留下了需要分析的日志和指标数据。
当我们看到人们在生产环境中成功地将 Prometheus 与容器优先的架构结合使用，并且了解到其对 exporters 和 dashboards 的支持后，我们清楚地认识到应该研究将 Prometheus 作为我们的分析后端。
你们是如何过渡的？
对于我们来说，这次转型相当顺利，因为 Scalefastr 是一个全新的环境。
其架构大部分是全新的，几乎没有什么限制因素。
我们的主要目标是在裸金属上部署，但在现有的标准化硬件之上构建云功能。
我们的想法是，让我们集群中的所有分析都由 Prometheus 提供支持。
我们为客户提供他们自己的“管理”基础设施，其中包括 Prometheus、Grafana、Elasticsearch 和 Kibana，以及一个 Kubernetes 控制平面。我们使用 Ansible 来编排这个系统，它负责处理初始的机器设置（ssh、核心 Debian 软件包等）和基线配置。
然后，我们部署 Prometheus、所有客户配置所需的 exporters，以及 Grafana 的 dashboards。
我们发现一个有些问题的地方是，Grafana.com 上的一些 dashboards 是为 Prometheus 1.x 编写的，无法顺利地移植到 2.x。事实证明，2.x 系列中只有少数函数不存在了，并且许多 dashboards 只需要稍作调整。此外，一些 dashboards 是为更早版本的 Grafana 编写的。
为了帮助解决这个问题，我们本周宣布了一个项目，旨在为 Prometheus 改进和标准化 dashboards，这些 dashboards 适用于 Cassandra、Elasticsearch、操作系统以及 Prometheus 本身等工具。我们已将其开源，并于上周发布到了 Github。
我们希望这能让其他人更容易地迁移到 Prometheus。
我们希望改进的一点是，不仅能自动将其与我们的 Grafana 后端同步，还能将这些 dashboards 上传到 Grafana.com。
我们还发布了我们的 Prometheus 配置，以便标签能与我们的 Grafana 模板正确配合。这使你能够通过下拉菜单选择更具体的指标，如集群名称、实例名称等。
切换后你们看到了哪些改进？
部署简单、性能高、以及标准化的 exporters 使我们能够轻松转换。此外，后端配置相当容易（基本上只有守护进程本身），并且活动部件不多，这些都让我们很容易做出决定。
您认为 Scalefastr 和 Prometheus 的未来会是怎样的？
目前，我们直接在裸金属上部署 Elasticsearch 和 Cassandra。我们正在努力将它们直接运行在 Kubernetes 的容器中，并计划使用容器存储接口（CSI）来实现这一点。
在此之前，我们需要让 Prometheus 的服务发现功能正常工作，而这方面我们还没有尝试过。目前我们通过 Ansible 部署和配置 Prometheus，但随着工作负载的变化，容器会随时出现和消失，这种方式显然无法在 Kubernetes 环境下扩展（甚至无法工作）。
我们还在努力改进标准的 dashboards 和告警功能。我们希望增加的一个功能是（也许是作为一个容器）支持基于 Holts-Winters 预测模型的告警。
这基本上能让我们在严重的性能问题发生之前进行预测。而不是等到出现问题（比如磁盘空间耗尽）才采取行动去纠正。
在某种程度上，Kubernetes 帮助解决了这个问题，因为我们可以根据一个阈值向集群中添加节点。一旦资源利用率过高，我们就可以进行自动扩容。
我们对 Prometheus 的未来感到非常兴奋，特别是现在我们正在推进 2.x 系列，而且 CNCF 的协作似乎也进展顺利。