关于 scrapy 的 pipeline 和 items 问题 财富值33

2016-10-28 14:09发布

能不能实现这种:

  1. aItem的数据由aPipeline处理

  2. bItem的数据由bPipeline处理

3条回答

可以的 pipelines的process_item有个spider参数,可以筛选相应的spider走这个pipeline

对于这种多个爬虫在一个工程里的,需要不同爬虫在 pipeline 里使用不同逻辑的问题 scrapy 的作者是这么解释的。
去看看

你可以在 pipeline 里判断是哪个爬虫的结果:

一周热门 更多>