经常出现database is locked是怎么回事?rate/burst设置为1/1还是会有这个 财富值41

2016-10-24 07:11发布

2252 4 4

如图所示:

1.这是什么问题呢?将rate/burst设置为1/1还是会有,该如何解决?

2.点到tasks界面选择任意一个success的链接进来,看到会有"HTTP 304: Not Modified"错误,这是原来已经爬取过了的意思吗?

3.还有就是爬取的网站有很多页,然后每页又是一个列表界面,点击列表界面的单个链接就进入相应的详细信息界面,理论上不应该是按照顺序爬吗,第一页爬完爬第二页一次类推,为什么看终端或者active tasks里面都不是按照顺序爬的,有时是几十页,然后又跳到几百页去了,这样就有时候会漏掉很多没有爬到,这种情况如何解决,所以我就想让他严格的按照顺序爬取。

自定义标题
段落格式
字体
字号
代码语言
4条回答
九天圣地 - 这个人很懒,什么都没留下
1楼 · 2016-10-24 08:09.采纳回答

35人赞 添加讨论(1) 举报

应该是多线程导致的问题,算是个 bug 吧。

67人赞 添加讨论(0)举报

如果你没有指定优先级,不保证顺序。但是如果连接已经提交了,那么是不会漏掉的。

45人赞 添加讨论(0)举报

你是用正则或者xpath把所有列表页的url取出来爬的么,应该不会漏掉吧,你可以从数据库里去查是不是爬过某个列表url

42人赞 添加讨论(0)举报

一周热门 更多>