scrapy利用自带的retry设置重试次数

编辑:先生 日期:2017-06-28 浏览量:2373 我要收藏

scrapy利用自带的retry设置重试次数

scrapy自带scrapy.downloadermiddlewares.retry.RetryMiddleware中间件,如果想通过重试次数,可以进行如下操作:


参数配置:

RETRY_ENABLED: 是否开启retry

RETRY_TIMES: 重试次数

RETRY_HTTP_CODECS: 遇到什么http code时需要重试,默认是500,502,503,504,408,其他的,网络连接超时等问题也会自动retry的


在配置文件中启用即可。

关键词: scrapy,

属分类: scrapy

0 0
留言:
登录  注册
三思而后言,谢谢。