pyspider分布式下可以控制某一工程的工作节点数量么? 财富值100

2017-01-21 17:18发布

请问,pyspider 在分布式下,可以控制某一个工程的工作节点数量么?比如我有三个工作节点,但是某一个工程我只想让它在一个工作节点上运行,这个该怎么做?

3条回答
ccxc - 这个人很懒,什么都没留下
1楼 · 2017-01-21 17:59.采纳回答

如果你确实需要这个功能,在节点前增加一个 dispatcher 分发器的模块,根据你需要的条件分发到特定节点即可。

控制工作节点会增大部署和 debug 的负担,所以节点越平等越扁平更好。

你需要自己实现这一功能

一周热门 更多>