dask分布式任务流仪表板上的空白处发生了什么？

Question

下面是任务流仪表板。空白处发生了什么？那是当我的本地 python 实例/ dask 调度程序工作时吗？是在 GC 或其他进程发生时吗？我想知道在此期间发生了什么，以便我可以减少空白。

Answer 1

您是对的，空白意味着工作人员在那几秒钟内空闲。虽然阻止工人的活动、通信和反序列化将分别显示为透明的红色和灰色块，但空白空间意味着没有给工人任何工作。

这可能发生的主要原因是您正在向调度程序提交一个包含非常多任务的大图。客户端和调度程序之间的此图的通信可能需要时间，并且调度程序中的许多用于决定将工作分配到何处的进程也需要一些时间。前者更有可能，您最好考虑一下是否可以采取任何措施来减小图形的大小（例如，更大的块大小）。

可以分析调度程序上花费的时间，尽管这通常不会向用户公开。您可以使用常规的 python 分析工具来分析客户端内的活动。