Python：如何并行运行python函数？

Question

Python：如何并行运行python函数？我先研究过，找不到我的问题的答案。我试图在Python中并行运行多个函数。我有这样的事情：files.pyimport common #common is a util class that handles all the IO stuffdir1 = 'C:\folder1'dir2 = 'C:\folder2'filename = 'test.txt'addFiles = [25, 5, 15, 35, 45, 25, 5, 15, 35, 45]def func1():    c = common.Common()    for i in range(len(addFiles)):        c.createFiles(addFiles[i], filename, dir1)        c.getFiles(dir1)        time.sleep(10)        c.removeFiles(addFiles[i], dir1)        c.getFiles(dir1)def func2():    c = common.Common()    for i in range(len(addFiles)):        c.createFiles(addFiles[i], filename, dir2)        c.getFiles(dir2)        time.sleep(10)        c.removeFiles(addFiles[i], dir2)        c.getFiles(dir2)我想调用func1和func2并让它们同时运行。这些函数不会相互交互或在同一个对象上交互。现在我必须等待func1在func2启动之前完成。我如何做以下事情：process.pyfrom files import func1, func2 runBothFunc(func1(), func2())我希望能够创建非常接近同一时间的两个目录，因为每分钟我都在计算正在创建的文件数量。如果目录不在那里，它会甩掉我的时间。

Answer 1

你可以使用threading或multiprocessing。

由于CPython的特殊性，threading不太可能实现真正的并行性。出于这个原因，multiprocessing通常是一个更好的选择。

这是一个完整的例子：

from multiprocessing import Processdef func1():
  print 'func1: starting'
  for i in xrange(10000000): pass
  print 'func1: finishing'def func2():
  print 'func2: starting'
  for i in xrange(10000000): pass
  print 'func2: finishing'if __name__ == '__main__':
  p1 = Process(target=func1)
  p1.start()
  p2 = Process(target=func2)
  p2.start()
  p1.join()
  p2.join()

启动/加入子进程的机制可以很容易地封装到一个函数中runBothFunc：

def runInParallel(*fns):
  proc = []
  for fn in fns:
    p = Process(target=fn)
    p.start()
    proc.append(p)
  for p in proc:
    p.join()runInParallel(func1, func2)

Answer 2

这可以通过Ray优雅地完成，这个系统允许您轻松地并行化和分发Python代码。

要并行化您的示例，您需要使用@ray.remote装饰器定义您的函数，然后使用它来调用它们.remote。

import ray

ray.init()dir1 = 'C:\\folder1'dir2 = 'C:\\folder2'filename = 'test.txt'addFiles = [25, 5, 15, 35, 45, 25, 5, 15, 35, 45]# Define the functions. # You need to pass every global variable used by the function as an argument.# This is needed because each remote function runs in a different process,# and thus it does not have access to the global variables defined in # the current [e-mail] func1(filename, addFiles, dir):
    # func1() code [e-mail] func2(filename, addFiles, dir):
    # func2() code here...# Start two tasks in the background and wait for them to finish.ray.get([func1.remote(filename, addFiles, dir1), func2.remote(filename, addFiles, dir2)])

如果将相同的参数传递给两个函数并且参数很大，则更有效的方法是使用ray.put()。这避免了大型参数被序列化两次并创建它的两个内存副本：

largeData_id = ray.put(largeData)ray.get([func1(largeData_id), func2(largeData_id)])

如果func1()并func2()返回结果，则需要重写代码，如下所示：

ret_id1 = func1.remote(filename, addFiles, dir1)ret_id2 = func1.remote(filename, addFiles, dir2)ret1, ret2 = ray.get([ret_id1, ret_id2])

在多处理模块上使用Ray有许多优点。特别是，相同的代码将在一台机器上运行，也可以在一组机器上运行。有关Ray的更多优点，请参阅此相关帖子。