爬虫在爬取网页的时候出现了302要如何解决?

爬虫在爬取网页的时候出现了302要如何解决? 财富值76

2016-10-26 14:26发布

2247 4

在抓取360问答的时候,前面抓取得好好的,但是每次抓到大约40条的时候,就打不开了,所有的问题都打不开了,直接全部跳转到首页!我抓包了看了下,是被302了,请问下,除了换ip,还有什么比较好的方法来突破这种限制?

我设置了时间间隔,现在也不行了

友情提示: 此问题已得到解决，问题已经关闭,关闭后问题禁止继续编辑，回答。

该问题目前已经被作者或者管理员关闭, 无法添加新回复

4条回答

1楼-- · 2016-10-26 14:19

简单方案是上代理。

2楼-- · 2016-10-26 14:11

设置时间间距一般也不是很有用，在大规模爬取的情况下，一个IP访问数百次一般就会被跳转验证码了。

3楼-- · 2016-10-26 14:24

sleep(10)
暂停一下，别爬太快~

4楼-- · 2016-10-26 14:24

1楼说得对，设置抓取延时