2017-01-21 17:18发布
请问,pyspider 在分布式下,可以控制某一个工程的工作节点数量么?比如我有三个工作节点,但是某一个工程我只想让它在一个工作节点上运行,这个该怎么做?
如果你确实需要这个功能,在节点前增加一个 dispatcher 分发器的模块,根据你需要的条件分发到特定节点即可。
控制工作节点会增大部署和 debug 的负担,所以节点越平等越扁平更好。
你需要自己实现这一功能
最多设置5个标签!
付费偷看金额在0.1-10元之间
如果你确实需要这个功能,在节点前增加一个 dispatcher 分发器的模块,根据你需要的条件分发到特定节点即可。
控制工作节点会增大部署和 debug 的负担,所以节点越平等越扁平更好。
你需要自己实现这一功能
一周热门 更多>