python爬虫多线程和多进程 财富值55

2016-09-25 16:20发布

python爬虫多进程比多线程快吗?
这两个能比吗?

友情提示: 此问题已得到解决,问题已经关闭,关闭后问题禁止继续编辑,回答。
该问题目前已经被作者或者管理员关闭, 无法添加新回复
2条回答

对于PYTHON来说,进程与线程是明显不同的,因为PYTHON本身由于GIL的关系,也就是它本质一个PYTHON进程只可能有一个线程,不管说的是多少线程都是模拟出来的多线程,所以,你真要快速,这个要用多进程来处理,或者你用PYTHON的代码库GEVENT来做,它会在数据等待的时候进行切换,但我推荐还是基于nodejs来进行开发爬虫程序,因为这个语言,还是从效率来讲是最合适的语言,它是事件驱动,对IO驱动的情景特别合适。

爬虫是IO密集型,用多线程比较好。
多进程是计算密集型。

一周热门 更多>