怎样比较python爬虫中的协程与多线程-创新互联

小编给大家分享一下怎样比较python爬虫中的协程与多线程,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

创新互联建站主营贞丰网站建设的网络公司,主营网站建设方案,APP应用开发,贞丰h5重庆小程序开发搭建,贞丰网站营销推广欢迎贞丰等地区企业咨询

进程、线程、协程对比

请仔细理解如下的通俗描述

有一个老板想要开个工厂进行生产某件商品(例如剪子)

他需要花一些财力物力制作一条生产线,这个生产线上有很多的器件以及材料这些所有的为了能够生产剪子而准备的资源称之为:进程

只有生产线是不能够进行生产的,所以老板的找个工人来进行生产,这个工人能够利用这些材料最终一步步的将剪子做出来,这个来做事情的工人称之为:线程

这个老板为了提高生产率,想到3种办法:

1、在这条生产线上多招些工人,一起来做剪子,这样效率是成倍増长,即单进程 多线程方式

2、老板发现这条生产线上的工人不是越多越好,因为一条生产线的资源以及材料毕竟有限,所以老板又花了些财力物力购置了另外一条生产线,然后再招些工人这样效率又再一步提高了,即多进程多线程方式

3、老板发现,现在已经有了很多条生产线,并且每条生产线上已经有很多工人了(即程序是多进程的,每个进程中又有多个线程),为了再次提高效率,老板想了个损招,规定:如果某个员工在上班时临时没事或者再等待某些条件(比如等待另一个工人生产完谋道工序 之后他才能再次工作) ,那么这个员工就利用这个时间去做其它的事情,那么也就是说:如果一个线程等待某些条件,可以充分利用这个时间去做其它事情,其实这就是:协程方式

简单总结

l 进程是资源分配的单位

l 线程是操作系统调度的单位

l 进程切换需要的资源很较大,效率很低

l 线程切换需要的资源一般,效率一般(当然了在不考虑GIL的情况下)

l 协程切换任务资源很小,效率高

l 多进程、多线程根据cpu核数不一样可能是并行的,但是协程是在一个线程中 所以是并发

以上是怎样比较python爬虫中的协程与多线程的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


标题名称:怎样比较python爬虫中的协程与多线程-创新互联
URL网址:http://csdahua.cn/article/phooo.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流