收集CPU使用数据以进行性能分析的程序

Question

我用 Go 编写了一个复杂的程序（它使用了许多并发结构）。我想对我的程序的CPU使用率进行准确的分析，但我不知道从哪里开始。我特别想获得以下方面的有用信息：同时运行的goroutines（即并发线程）的最大数量；如果我同时运行同一程序的多个实例，CPU 使用率会发生多少变化？堆栈利用率（它根据我使用的嵌套函数数量告诉我是否使用了很多（或一些）堆栈）；我在 Linux Ubuntu 18.04.1 LTS 中工作。我应该怎么做才能获取这些信息？是否有任何程序（可能特定于 Golang）允许获取此信息？

Answer 1

嗯，这是一个复杂的话题，因此不可能有一个明确的答案。

实际上，您所接近的在生产设置中被称为“指标收集”或“遥测”。

在大多数情况下，指标的收集使用采样方法：即收集感兴趣的系统状态的快照并将其发送到某处。“某处”通常是一些系统，它允许将指标的值保存在某处，并且通常还提供各种分析它们的方法。

在最简单的情况下，分析是通过在某种 UI 中查看从收集的数据中绘制的图表来完成的。更复杂的情况包括当某些指标的值高于（或低于）某个阈值时发出警报。

单个指标是特定类型的一些命名值。

---

指标可以从不同的数据源产生。用 Go 编写的程序运行的相当常见的设置的典型来源包括：

• Go 运行时本身。

  这包括诸如 goroutine 的数量和垃圾收集统计数据之类的东西——由于显而易见的原因，这些测量结果不可能在运行的 Go 程序之外获得。

• 操作系统提供的有关执行程序的运行进程的测量值。

  这包括在内核的用户和系统上下文中花费的 CPU 时间、操作系统所看到的内存消耗、打开的文件（和套接字）描述符的数量、CPU 上下文切换的数量、磁盘 I/O 统计信息等等。

• 由运行包含程序的容器的容器化软件提供的测量结果。

  在 Linux 上，这通常由子系统提供cgroup，该子系统主要负责控制对进程层次结构施加的资源限制。

---

如何准确地从这些数据源转换数据是一个悬而未决的问题（这就是为什么它不适合 SO 格式）。

例如，要收集 Go 运行时统计信息，您可以使用expvar@Adrian 建议的机制，并定期轮询其提供的 HTTP 端点以获取数据。

或者，您可以在程序中运行一个内部 goroutine，它定期从运行时获取这些数据并将其推送到某个地方。

同样，操作系统级进程相关数据的采样可以通过不同的方式完成。比如说，您可以使用类似的方法从您的程序中收集它们，github.com/shirou/gopsutil/process并将它们与从运行时统计数据收集的指标一起推送，或者您可以使用一种或多种工具从外部收集这些数据。

（据我所知，收集操作系统级性能数据的技术含量最低但最容易访问的方法是使用pidstat、iotop、等工具）。atopcpustat

---

保留和分析收集到的数据的问题再次是开放的。

首先，它可能很简单，只需将所有内容转储到结构化文件中（每条记录上可能带有时间戳），然后使用您喜欢的任何内容进行处理（例如，RRD 工具或 R 或......等等）pyplot。

或者，您可以从一开始就拿起一把大枪，将您的指标发送到 Graphite、Graphana、Zabbix、icinga 或当前位于其臀部曲线顶部的任何内容。