使用scrapy结合selenium和PhantomJS抓取动态内容,感觉是多余的? 财富值48

2016-10-16 15:03发布

爬虫初学者的疑问
看了scarpy框架图,有个疑问。
如果在DownloadMiddleware中添加selenium+PhantomJS抓取动态内容的话,事实上等于发了两次请求,一次请求由Scrapy发,另一次请求由selenium发出,这样第一个是不是有点多余,而且还降低了效率,我这个说法对吗?
麻烦请各位大神解答。如果,的确冗余,除了单独用selenium和PhantomJS来抓取以外,结合scrapy有什么方法能通过代码的方式,让Scrapy不发请求?

友情提示: 问题已经关闭,关闭后问题禁止继续编辑,回答。
该问题目前已经被作者或者管理员关闭, 无法添加新回复
0条回答

一周热门 更多>