scipy.weave.inline如何在集群中启用了MPI的应用程序中使用？

Question

如果在具有并行MPI的大型并行应用程序中调用scipy.weave.inline，该应用程序在群集上运行，群集的主目录对所有节点都通用，则每个实例都将访问同一目录以获取编译代码：$ HOME / .pythonxx_compiled。由于明显的原因，这很糟糕，并导致许多错误消息。如何解决这个问题？

Answer 1

根据scipy docs，您可以将已编译的数据存储在NFS共享上不存在的目录中（例如/ tmp或/ scratch或系统可用的任何文件）。这样，您就不必担心冲突。您只需要将PYTHONCOMPILED环境变量设置为其他变量即可。

Answer 2

一种快速的解决方法是在每个节点上使用本地目录（例如Wesley所说的/ tmp），但如果有能力，则每个节点使用一个MPI任务。