scrapy增加代理随机代理IP功能

scrapy随机代理IP的功能示例如下：

import random

class IPPOOLS(object):

     def __init__(self,ip=''):

         '''初始化'''

         self.ip=ip

     def process_request(self, request, spider):

         '''使用代理ip，随机选用'''

         ip=random.choice(self.ip_pools) #随机选择一个ip

         print '当前使用的IP是'+ip['ip']

         try:

             request.meta["proxy"]="http://"+ip['ip']

         except Exception,e:

             print e

             pass

     ip_pools=[

         {'ip': '124.65.238.166:80'},

         # {'ip':''},

     ]

在配置文件中，如下修改

'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware':123,

'weixin.middlewares.IPPOOLS':120,

非常不错。