企业官网建设流程全解析

商城系统网站模板,数字广东网络建设有限公司官网,东莞做网站多少钱,wordpress多个标签01 初识 Python中已经有了threading模块#xff0c;为什么还需要线程池呢#xff0c;线程池又是什么东西呢#xff1f;在介绍线程同步的信号量机制的时候#xff0c;举得例子是爬虫的例子#xff0c;需要控制同时爬取的线程数#xff0c;例子中创建了20个线程#xff0…01 初识Python中已经有了threading模块为什么还需要线程池呢线程池又是什么东西呢在介绍线程同步的信号量机制的时候举得例子是爬虫的例子需要控制同时爬取的线程数例子中创建了20个线程而同时只允许3个线程在运行但是20个线程都需要创建和销毁线程的创建是需要消耗系统资源的有没有更好的方案呢其实只需要三个线程就行了每个线程各分配一个任务剩下的任务排队等待当某个线程完成了任务的时候排队任务就可以安排给这个线程继续执行。这就是线程池的思想当然没这么简单但是自己编写线程池很难写的比较完美还需要考虑复杂情况下的线程同步很容易发生死锁。从Python3.2开始标准库为我们提供了concurrent.futures模块它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类实现了对threading和multiprocessing进一步抽象这里主要关注线程池不仅可以帮我们自动调度线程还可以做到主线程可以获取某一个线程或者任务的的状态以及返回值。当一个线程完成的时候主线程能够立即知道。让多线程和多进程的编码接口一致。02 实例简单使用from concurrent.futures import ThreadPoolExecutorimport time# 参数times用来模拟网络请求的时间def get_html(times):time.sleep(times)print(get page {}s finished.format(times))return timesexecutor ThreadPoolExecutor(max_workers2)# 通过submit函数提交执行的函数到线程池中submit函数立即返回不阻塞task1 executor.submit(get_html, (3))task2 executor.submit(get_html, (2))# done方法用于判定某个任务是否完成print(task1.done())# cancel方法用于取消某个任务,该任务没有放入线程池中才能取消成功print(task2.cancel())time.sleep(4)print(task1.done())# result方法可以获取task的执行结果print(task1.result())# 执行结果# False# 表明task1未执行完成# False# 表明task2取消失败因为已经放入了线程池中# get page 2s finished# get page 3s finished# True# 由于在get page 3s finished之后才打印所以此时task1必然完成了# 3# 得到task1的任务返回值ThreadPoolExecutor构造实例的时候传入max_workers参数来设置线程池中最多能同时运行的线程数目。使用submit函数来提交线程需要执行的任务函数名和参数到线程池中并返回该任务的句柄类似于文件、画图注意submit()不是阻塞的而是立即返回。通过submit函数返回的任务句柄能够使用done()方法判断该任务是否结束。上面的例子可以看出由于任务有2s的延时在task1提交后立刻判断task1还未完成而在延时4s之后判断task1就完成了。使用cancel()方法可以取消提交的任务如果任务已经在线程池中运行了就取消不了。这个例子中线程池的大小设置为2任务已经在运行了所以取消失败。如果改变线程池的大小为1那么先提交的是task1task2还在排队等候这是时候就可以成功取消。使用result()方法可以获取任务的返回值。查看内部代码发现这个方法是阻塞的。as_completed上面虽然提供了判断任务是否结束的方法但是不能在主线程中一直判断啊。有时候我们是得知某个任务结束了就去获取结果而不是一直判断每个任务有没有结束。这是就可以使用as_completed方法一次取出所有任务的结果。from concurrent.futures import ThreadPoolExecutor, as_completedimport time# 参数times用来模拟网络请求的时间def get_html(times):time.sleep(times)print(get page {}s finished.format(times))return timesexecutor ThreadPoolExecutor(max_workers2)urls [3, 2, 4] # 并不是真的urlall_task [executor.submit(get_html, (url)) for url in urls]for future in as_completed(all_task):data future.result()print(in main: get page {}s success.format(data))#执行结果# get page 2s finished# in main: get page 2s success# get page 3s finished# in main: get page 3s success# get page 4s finished# in main: get page 4s successas_completed()方法是一个生成器在没有任务完成的时候会阻塞在有某个任务完成的时候会yield这个任务就能执行for循环下面的语句然后继续阻塞住循环到所有的任务结束。从结果也可以看出先完成的任务会先通知主线程。map除了上面的as_completed方法还可以使用executor.map方法但是有一点不同。from concurrent.futures import ThreadPoolExecutorimport time# 参数times用来模拟网络请求的时间def get_html(times):time.sleep(times)print(get page {}s finished.format(times))return timesexecutor ThreadPoolExecutor(max_workers2)urls [3, 2, 4] # 并不是真的urlfor data in executor.map(get_html, urls):print(in main: get page {}s success.format(data))# 执行结果# get page 2s finished# get page 3s finished# in main: get page 3s success# in main: get page 2s success# get page 4s finished# in main: get page 4s success使用map方法无需提前使用submit方法map方法与python标准库中的map含义相同都是将序列中的每个元素都执行同一个函数。上面的代码就是对urls的每个元素都执行get_html函数并分配各线程池。可以看到执行结果与上面的as_completed方法的结果不同输出顺序和urls列表的顺序相同就算2s的任务先执行完成也会先打印出3s的任务先完成再打印2s的任务完成。waitwait方法可以让主线程阻塞直到满足设定的要求。​from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED, FIRST_COMPLETEDimport time# 参数times用来模拟网络请求的时间def get_html(times):time.sleep(times)print(get page {}s finished.format(times))return timesexecutor ThreadPoolExecutor(max_workers2)urls [3, 2, 4] # 并不是真的urlall_task [executor.submit(get_html, (url)) for url in urls]wait(all_task, return_whenALL_COMPLETED)print(main)# 执行结果# get page 2s finished# get page 3s finished# get page 4s finished# main​wait方法接收3个参数等待的任务序列、超时时间以及等待条件。等待条件return_when默认为ALL_COMPLETED表明要等待所有的任务都结束。可以看到运行结果中确实是所有任务都完成了主线程才打印出main。等待条件还可以设置为FIRST_COMPLETED表示第一个任务完成就停止等待。03 源码分析cocurrent.future模块中的future的意思是未来对象可以把它理解为一个在未来完成的操作这是异步编程的基础 。在线程池submit()之后返回的就是这个future对象返回的时候任务并没有完成但会在将来完成。也可以称之为task的返回容器这个里面会存储task的结果和状态。那ThreadPoolExecutor内部是如何操作这个对象的呢下面简单介绍ThreadPoolExecutor的部分代码1.init方法init方法中主要重要的就是任务队列和线程集合在其他方法中需要使用到。2.submit方法submit中有两个重要的对象_base.Future()和_WorkItem()对象_WorkItem()对象负责运行任务和对future象进行设置最后会将future对象返回可以看到整个过程是立即返回的没有阻塞。3.adjust_thread_count方法这个方法的含义很好理解主要是创建指定的线程数。但是实现上有点难以理解比如线程执行函数中的weakref.ref涉及到了弱引用等概念留待以后理解。4._WorkItem对象_WorkItem对象的职责就是执行任务和设置结果。这里面主要复杂的还是self.future.set_result(result)。5.线程执行函数--_worker这是线程池创建线程时指定的函数入口主要是从队列中依次取出task执行但是函数的第一个参数还不是很明白。留待以后。04 总结future的设计理念很棒在线程池/进程池和携程中都存在future对象是异步编程的核心。ThreadPoolExecutor 让线程的使用更加方便减小了线程创建/销毁的资源损耗无需考虑线程间的复杂同步方便主线程与子线程的交互。线程池的抽象程度很高多线程和多进程的编码接口一致。未完成对future模块的理解。weakref.ref是什么线程执行函数入口_worker的第一个参数的意思。感谢每一个认真阅读我文章的人礼尚往来总是要有的虽然不是什么很值钱的东西如果你用得到的话可以直接拿走这些资料对于【软件测试】的朋友来说应该是最全面最完整的备战仓库这个仓库也陪伴上万个测试工程师们走过最艰难的路程希望也能帮助到你!有需要的小伙伴可以点击下方小卡片领取