Scrapy工作流

潘先生 日期:2017-07-01

Scrapy工作流

Scrapy工作流介绍:


发起请求->下载中间件处理请求->下载数据得到response->中间件对response做处理->parse函数解析response,提取你要的信息->生成item(或request)->pipeline处理item


一般情况下,只要parse和pipeline,其他的scrapy都帮我们搞定了,只要专注于解析数据、生成新请求和存储。

关键词: Scrapy,

属分类: scrapy

0 0
网圵:http://127.0.0.13/Article/show/i/462.html

上一篇:scrapy保存界面显示的内容

下一篇: 没有了

留言:
登录  注册
三思而后言,谢谢。