scrapy如何设置不遵循robots

有时候有些站点在 robot.txt里面设置禁止访问采集，那么可以在scrapy 的setting.py 配置文件下配置恶设置

ROBOTSTXT_OBEY = False就可以不遵守机器人协议了！