scrapy学习之路(五)middlewares的使用

scrapy如何使用middlewares呢，需要了解middlewares命名规则和操作规则。

在配置文件中有如下的关于middlewares的配置：

DOWNLOADER_MIDDLEWARES = {

    'myproject.middlewares.CustomDownloaderMiddleware': 543,

}

其中：myproject 是项目的名字， middlewares 是python脚本文件名(一般直接保存在项目的目录下)， CustomDownloaderMiddleware 是下载器中间键的名字。

在middlewares中，可以编辑各种middlewares类：

如：

class CustomProxyMiddleware(object):

    def process_request(self, request, spider):

        try:

            request.meta["proxy"] = "http://127.0.0.1:8080"

        except Exception as err:

            print err

class CustomUserAgentMiddleware(object):

    def __init__(self, user_agent=''):

        self.user_agent = user_agent

    def process_request(self, request, spider):

        ua = random.choice(self.user_agent_list)

        if ua:

            # print(ua)

            request.headers.setdefault('User-Agent', ua)

        user_agent_list=['User-Agent a','User-Agent b','User-Agent b']

然后在前面说的配置文件中启用middlewares。