python真正的多线程(python线程池)

选择“编程派”、“”

优秀的文章，第一时间送到！

一、前言

很多时候，我们写了爬虫。 实现需求的话会发现很多需要改善的地方。 其中重要的是攀登的速度。 本文将在代码中介绍如何使用多进程、多线程和协和型来提高爬网速度。 注意：我不详细说明理论和原理。 都在代码里。

二、同步

首先写简化的爬虫，意识到要细分各个功能，函数式编程。 以下代码的目的是访问300次百度页面并返回状态代码。 其中，parse_1函数可以设置循环次数，然后将每个循环的当前循环数(从0开始)和url传递给parse_2函数。

importrequestsdefparse _ 1: URL=' https://WWW.Baidu.com ' Foriinrange (300 ) :透视图2 (URL ) DEF透视图2 ) me__=='__main_':parse_1的性能消耗主要是IO请求，只要在单进程单线程模式下请求URL，就会等待

示例代码是典型的串行逻辑，parse_1将url和循环数传递给parse_2，parse_2请求并返回状态代码后，parse_1重复上一步骤

三、多线程

由于CPU在程序运行时每个时间刻度只有一个线程，所以多线程实际上提高了进程利用率，提高了CPU利用率

虽然有许多用于多线程的库，但在这里我们将使用concurrent.futures的ThreadPoolExecutor进行演示。 之所以介绍ThreadPoolExecutor库，是因为它比其他库代码更简洁

为了便于说明问题，在以下代码中新添加的部分中，请在代码行之前添加符号以帮助说明问题。 在实际执行中需要去除

importrequestsfromconcurrent.futuresimportthreadpoolexecutordefparse _ 1: URL=' https://www.Baidu.com ' # 线程池的创建pool=托福(300 ) :轮询.提交(parse _ 2，url )轮询.关闭)等待=真你不需要等这个案子完成再工作。 线程是实现异步的一种方法。 也就是说，多线程异步处理是指不知道处理结果，有时需要知道处理结果，所以可以采用回调

importrequestsfromconcurrent.futuresimportthreadpoolexecutor # 添加回调函数def回调(future ) :打印) future.result ) def parse _ 1: URL=' https://www.Baidu.com ' pool=三叉树。 ol .舒尔茨URL ) # 回调的重要步骤results.add _ done _ callback (回调)保罗. shut down )等待时间=真)德夫透视2 (URL ) 3360响应时间因此，尽管无数人拥有令人厌恶的全球解释器锁定(GIL )，但多线程却适合于许多IO密集型任务，如爬网页。

四、多进程

多进程通过两种方法实现：处理器和多处理

1. ProcessPoolExecutor

与实现多线程的thread pool执行程序类似

importrequestsfromconcurrent.futuresimportprocesspoolexecutordefparse _ 1: URL=' https://www.Baidu.com ' # 线程池的创建pool==联邦范围(300 ) :轮询.提交(parse _ 2，url )轮询.关闭(wait=true )第二个

.status_code)if __name__ == '__main__':parse_1

可以看到改动了两次类名，代码依旧很简洁，同理也可以添加回调函数

import requestsfrom concurrent.futures import ProcessPoolExecutor> def callback(future):> print(future.result)def parse_1:url = 'https://www.baidu.com'pool = ProcessPoolExecutor(6)for i in range(300):> results = pool.submit(parse_2, url)> results.add_done_callback(callback)pool.shutdown(wait=True)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1

2. multiprocessing

直接看代码，一切都在注释中。

import requests> from multiprocessing import Pooldef parse_1:url = 'https://www.baidu.com'# 建池> pool = Pool(processes=5)# 存放结果> res_lst = for i in range(300):# 把任务加入池中> res = pool.apply_async(func=parse_2, args=(url,))# 获取完成的结果(需要取出)> res_lst.append(res)# 存放最终结果(也可以直接存储或者print)> good_res_lst = > for res in res_lst:# 利用get获取处理后的结果> good_res = res.get# 判断结果的好坏> if good_res:> good_res_lst.append(good_res)# 关闭和等待完成> pool.close> pool.joindef parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1

可以看到multiprocessing库的代码稍繁琐，但支持更多的拓展。多进程和多线程确实能够达到加速的目的，但如果遇到IO阻塞会出现线程或者进程的浪费，因此有一个更好的方法……

五、异步非阻塞

协程+回调配合动态协作就可以达到异步非阻塞的目的，本质只用了一个线程，所以很大程度利用了资源

实现异步非阻塞经典是利用asyncio库+yield，为了方便利用逐渐出现了更上层的封装 aiohttp，要想更好的理解异步非阻塞最好还是深入了解asyncio库。而gevent是一个非常方便实现协程的库

import requests> from gevent import monkey# 猴子补丁是协作运行的灵魂> monkey.patch_all> import geventdef parse_1:url = 'https://www.baidu.com'# 建立任务列表> tasks_list = for i in range(300):> task = gevent.spawn(parse_2, url)> tasks_list.append(task)> gevent.joinall(tasks_list)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == '__main__':parse_1

gevent能很大提速，也引入了新的问题：如果我们不想速度太快给服务器造成太大负担怎么办？如果是多进程多线程的建池方法，可以控制池内数量。如果用gevent想要控制速度也有一个不错的方法：建立队列。gevent中也提供了Quene类，下面代码改动较大

import requestsfrom gevent import monkeymonkey.patch_allimport gevent> from gevent.queue import Queuedef parse_1:url = 'https://www.baidu.com'tasks_list = # 实例化队列> quene = Queuefor i in range(300):# 全部url压入队列> quene.put_nowait(url)# 两路队列> for _ in range(2):> task = gevent.spawn(parse_2)> tasks_list.append(task)gevent.joinall(tasks_list)# 不需要传入参数，都在队列中> def parse_2:# 循环判断队列是否为空> while not quene.empty:# 弹出队列> url = quene.get_nowaitresponse = requests.get(url)# 判断队列状态> print(quene.qsize, response.status_code)if __name__ == '__main__':parse_1

结束语

以上就是几种常用的加速方法。如果对代码测试感兴趣可以利用time模块判断运行时间。爬虫的加速是重要技能，但适当控制速度也是爬虫工作者的良好习惯，不要给服务器太大压力，拜拜～

早起Python原创作者：殷勤的音响

回复下方「关键词」，获取优质资源

回复关键词「 pybook03」，立即获取主页君与小伙伴一起翻译的《Think Python 2e》电子版

回复关键词「入门资料」，立即获取主页君整理的 10 本 Python 入门书的电子版

回复关键词「m」，立即获取Python精选优质文章合集

回复关键词「」，将数字替换成 0 及以上数字，有惊喜好礼哦~

题图：pexels，CC0 授权。

好文章，我在看❤️