[scrapy] 2024-04-27 圈点370
摘要：Scrapy工作流简单介绍：一般情况下，只要parse和pipeline，其他的scrapy都帮我们搞定了，只要专注于解析数据、生成新请求和存储。
Scrapy工作流介绍：
发起请求->下载中间件处理请求->下载数据得到response->中间件对response做处理->parse函数解析response，提取你要的信息->生成item(或request)->pipeline处理item
一般情况下，只要parse和pipeline，其他的scrapy都帮我们搞定了，只要专注于解析数据、生成新请求和存储。