[scrapy] 2024-05-14 圈点816
摘要：scrapy如何设置不遵循robots
有时候有些站点在 robot.txt里面设置禁止访问采集，那么可以在scrapy 的setting.py 配置文件下配置恶设置
ROBOTSTXT_OBEY = False就可以不遵守机器人协议了！
感谢反馈，已提交成功，审核后即会显示
上一篇[scrapy]scrapy在win的命令行里运行时的编码问题
下一篇[scrapy]scrapy学习之路(一)基础准备工作