{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://wenda.whatsns.com/data/attach/logo/logo.png', '推荐 玲315354391 的问题《爬虫在爬取网页的时候出现了302要如何解决?》','https://wenda.whatsns.com/q-303082.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
在抓取360问答的时候,前面抓取得好好的,但是每次抓到大约40条的时候,就打不开了,所有的问题都打不开了,直接全部跳转到首页!我抓包了看了下,是被302了,请问下,除了换ip,还有什么比较好的方法来突破这种限制?
我设置了时间间隔,现在也不行了
友情提示: 此问题已得到解决，问题已经关闭,关闭后问题禁止继续编辑，回答。
相关问题
- 如何实现scrapy针对网页内容变化的增量爬取？
- pyspider如何清空之前的结果再重新执行爬虫任务呢？
- python爬虫速率的疑问，小白求解
- python爬虫时，有部分的html不能打印出来
- 爬虫爬取 微信公众号的图片 如何远程保存??
- 用PPT转flash 要上传到网页预览图的时候经常出现错误！！有的页面转不了，但是删除了这页就可以！
- 用PPT转flash 要上传到网页预览图的时候经常出现错误！！有的页面转不了，但是删除了这页就可以！
- 用PPT转flash 要上传到网页预览图的时候经常出现错误！！有的页面转不了，但是删除了这页就可以！
- 用PPT转flash 要上传到网页预览图的时候经常出现错误！！有的页面转不了，但是删除了这页就可以！
1楼说得对，设置抓取延时
一周热门 更多>