[scrapy] 2025-05-05 圈点366
摘要:scrapy同一项目中不同的spider用不同的pipeline
scrapy同一项目中不同的spider用不同的pipeline
说明:
如果想在spider1中用pipelineClass1和pipelineClass2, spider2中用pipelineClass3
示例代码如下:
Class Spider1(CrawlSpider):
name = 'spider1'
custom_settings = {
'ITEM_PIPELINES':{'pipelineClass1': 300,'pipelineClass2': 400},
}
Class Spider2(CrawlSpider):
name = 'spider2'
custom_settings = {
'ITEM_PIPELINES':{'pipelineClass3': 300},
}
此代码未经过检测,不过感觉应该正确!