pyspider scheduler 停止调度,重启时间长. 财富值2

2016-10-19 17:14发布

  1. 当前的pyspider为pyspider (0.3.9) python 2.7.5

  2. 大概有200个项目,其中部分stop,运行状态大概有100多个。

  3. projectdb和resultdb 使用的是 mongodb collection有过百万的数据。
    某些porjectdb 的task数据也有数十万条

  4. 当我修改项目的itag 然后修改项目状态为running,然后点run,显示为红色,看scheduler日志提示当前项目状态不是run或者debug,然后schedular停止调度了。

  5. scheduler运行一段时间也有时 停止调度。

当重启scheduler 会打印很多
诸如 :

  • [E 161019 15:07:37 scheduler:241] unknown project: whole_***

  • [E 161019 15:22:46 scheduler:767] not processing pack: **********:2e8087192edf9a9922701d2370cdcf5d http://www.******.com/157405/
    这样的报错, 重启过程特别慢,将近两个小时,看日志没有其它别的异常。

友情提示: 问题已经关闭,关闭后问题禁止继续编辑,回答。
该问题目前已经被作者或者管理员关闭, 无法添加新回复
0条回答

一周热门 更多>