python实现多进程主要依靠multiprocessing模块，其基本流程包括：1. 使用process类创建进程并指定任务函数；2. 调用start()方法启动进程；3. 通过join()方法等待进程结束。例如代码展示了创建3个进程并并发执行worker函数的过程。进程间共享数据可通过value、Array、queue、pipe或manager实现，其中value和array适用于简单数值或数组的共享，queue和pipe用于消息传递，manager适合复杂对象如list或dict的共享。为避免数据竞争，可使用lock保证临界区互斥访问，示例中多个进程通过锁安全地修改共享计数器。多进程与多线程的区别在于：进程拥有独立内存空间，适合cpu密集型任务；线程共享内存空间，适合i/o密集型任务。对于大量进程管理，推荐使用进程池pool，它能自动分配任务并控制并发数量，示例中通过pool.map()高效处理了10个任务。
多进程，说白了，就是让你的python程序能同时干好几件事。共享数据，则是让这些“分身”能互相交流，协作完成任务。
解决方案
Python实现多进程，主要靠multiprocessing这个模块。它提供了创建和管理进程的各种工具。基本流程是：
- 创建进程： 使用Process类，传入一个函数作为进程要执行的任务。
- 启动进程： 调用进程对象的start()方法。
- 等待进程结束： 调用进程对象的join()方法，这会阻塞主进程，直到子进程执行完毕。
举个例子：
立即学习“Python免费学习笔记（深入）”；
import multiprocessing import time def worker(num): print(f"进程 {num} 启动") time.sleep(2) # 模拟耗时操作 print(f"进程 {num} 结束") if __name__ == '__main__': processes = [] for i in range(3): p = multiprocessing.Process(target=worker, args=(i,)) processes.append(p) p.start() for p in processes: p.join() print("所有进程执行完毕")
这个例子创建了3个进程，每个进程都执行worker函数，打印启动和结束信息，并模拟一个耗时操作。
多进程之间共享数据，稍微复杂点。因为每个进程都有自己独立的内存空间，直接访问共享变量是不行的。multiprocessing模块提供了几种方式来解决这个问题：
- Value和Array： 用于在进程之间共享简单的数值和数组。它们实际上是在共享内存中创建的，所以多个进程可以同时读写。
- Queue： 用于在进程之间传递消息。一个进程可以将数据放入队列，另一个进程从队列中取出数据。
- Pipe： 类似于Queue，但通常用于两个进程之间的单向通信。
- Manager： 提供更高级的共享对象，例如list、dict等。它实际上启动了一个服务器进程，负责管理这些共享对象，其他进程通过代理访问。
选择哪种方式，取决于你的具体需求。如果只是共享简单的数值或数组，Value和Array效率最高。如果需要传递复杂的数据结构，或者进行更复杂的进程间通信，Queue、Pipe或Manager更合适。
如何避免多进程数据竞争？
数据竞争，指的是多个进程同时访问和修改共享数据，导致结果不确定。避免数据竞争，最常用的方法是使用锁(Lock)。
multiprocessing.Lock提供了一个互斥锁，可以保证同一时刻只有一个进程可以访问临界区（即访问共享数据的代码）。
import multiprocessing import time def worker(lock, counter): lock.acquire() # 获取锁 try: # 临界区：访问共享数据 counter.value += 1 print(f"进程 {multiprocessing.current_process().name} 增加计数器到 {counter.value}") time.sleep(0.1) # 模拟耗时操作 finally: lock.release() # 释放锁 if __name__ == '__main__': lock = multiprocessing.Lock() counter = multiprocessing.Value('i', 0) # 'i' 表示整数类型 processes = [] for i in range(5): p = multiprocessing.Process(target=worker, args=(lock, counter), name=f"Process-{i}") processes.append(p) p.start() for p in processes: p.join() print(f"最终计数器值：{counter.value}")
这个例子中，多个进程同时增加一个共享的计数器。使用Lock保证了每次只有一个进程可以访问和修改计数器，避免了数据竞争。
多进程和多线程有什么区别？我应该选择哪个？
多进程和多线程都是实现并发的手段，但它们有本质的区别：
- 进程： 拥有独立的内存空间，进程之间的切换开销较大。
- 线程： 共享进程的内存空间，线程之间的切换开销较小。
由于Python的全局解释器锁（GIL）的限制，多线程在CPU密集型任务上并不能真正实现并行，反而可能因为线程切换的开销而降低性能。
因此，选择多进程还是多线程，取决于你的任务类型：
- CPU密集型任务： 比如计算、图像处理等，应该选择多进程，利用多核CPU的并行能力。
- I/O密集型任务： 比如网络请求、文件读写等，可以选择多线程或异步IO，利用等待I/O的时间执行其他任务。
当然，具体情况还需要根据实际测试来确定。
如何优雅地管理大量进程？进程池是个好选择吗？
当需要创建大量进程时，手动创建和管理进程会变得非常繁琐。multiprocessing.Pool提供了一种更方便的方式来管理进程池。
进程池会自动创建和管理一组进程，并将任务分配给这些进程执行。你可以控制进程池的大小，避免创建过多的进程导致系统资源耗尽。
import multiprocessing import time def worker(num): print(f"进程 {num} 启动") time.sleep(1) return num * num if __name__ == '__main__': with multiprocessing.Pool(processes=4) as pool: results = pool.map(worker, range(10)) # 将 worker 函数应用于 range(10) 的每个元素 print(f"结果：{results}")
这个例子创建了一个大小为4的进程池，并将worker函数应用于range(10)的每个元素。pool.map()函数会将任务分配给进程池中的进程并行执行，并将结果收集到一个列表中返回。
使用进程池，可以大大简化多进程编程，提高代码的可读性和可维护性。
