2016-09-25 16:20发布
python爬虫多进程比多线程快吗?这两个能比吗?
对于PYTHON来说,进程与线程是明显不同的,因为PYTHON本身由于GIL的关系,也就是它本质一个PYTHON进程只可能有一个线程,不管说的是多少线程都是模拟出来的多线程,所以,你真要快速,这个要用多进程来处理,或者你用PYTHON的代码库GEVENT来做,它会在数据等待的时候进行切换,但我推荐还是基于nodejs来进行开发爬虫程序,因为这个语言,还是从效率来讲是最合适的语言,它是事件驱动,对IO驱动的情景特别合适。
爬虫是IO密集型,用多线程比较好。多进程是计算密集型。
最多设置5个标签!
付费偷看金额在0.1-10元之间
对于PYTHON来说,进程与线程是明显不同的,因为PYTHON本身由于GIL的关系,也就是它本质一个PYTHON进程只可能有一个线程,不管说的是多少线程都是模拟出来的多线程,所以,你真要快速,这个要用多进程来处理,或者你用PYTHON的代码库GEVENT来做,它会在数据等待的时候进行切换,但我推荐还是基于nodejs来进行开发爬虫程序,因为这个语言,还是从效率来讲是最合适的语言,它是事件驱动,对IO驱动的情景特别合适。
爬虫是IO密集型,用多线程比较好。
多进程是计算密集型。
一周热门 更多>