09-进程池Pool

目标

• 知道进程池的作用

1. 进程池概述

当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程，但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。

初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到指定的最大值，那么该请求就会等待，直到池中有进程结束，才会用之前的进程来执行新的任务。

2. 进程池实现效果

同步方式：pool.apply() 运行结果:

异步方式 pool.apply_async(copy_work)：

3. 核心方法

multiprocessing.Pool常用函数解析：

• apply(): —— 进程池中进程以 同步方式执行任务

• apply_async(func[, args[, kwds]]) ：—— 使用非阻塞方式调用func

（并行执行，堵塞方式必须等待上一个进程退出才能执行下一个进程），args为传递给func的参数列表，kwds为传递给func的关键字参数列表；

4.代码实现：

import multiprocessing
import time


def copy_work():
    print("拷贝中....",multiprocessing.current_process().pid)
    time.sleep(0.3)


if __name__ == '__main__':

    # 创建进程池
    # Pool(3) 表示创建容量为3个进程的进程池
    pool = multiprocessing.Pool(3)

    for i in range(10):
        # 利用进程池同步拷贝文件，进程池中的进程会必须等上一个进程退出才能执行下一个进程
        # pool.apply(copy_work)
        pool.apply_async(copy_work)

    pool.close()
    # 注意：如果使用异步方式执行copy_work任务，主进程不再等待子进程执行完毕再退出！
    pool.join()

• close()：关闭Pool，使其不再接受新的任务；

• terminate()：不管任务是否完成，立即终止；

• join()：等待进程池中的所有进程执行完毕再退出， 必须在close或terminate之后使用；