scrapy同一项目中不同的spider用不同的pipeline

[scrapy] 2024-05-09 圈点288

摘要:scrapy同一项目中不同的spider用不同的pipeline

scrapy同一项目中不同的spider用不同的pipeline


说明:

如果想在spider1中用pipelineClass1和pipelineClass2, spider2中用pipelineClass3

示例代码如下:


Class Spider1(CrawlSpider):

    name = 'spider1'

    custom_settings = {

    'ITEM_PIPELINES':{'pipelineClass1': 300,'pipelineClass2': 400},

    }


Class Spider2(CrawlSpider):

    name = 'spider2'

    custom_settings = {

    'ITEM_PIPELINES':{'pipelineClass3': 300},


    }


此代码未经过检测,不过感觉应该正确!

scrapy  pipeline  

感谢反馈,已提交成功,审核后即会显示