阅读(1415)
赞(0)
scrapy 2.3 禁用重定向
2021-06-16 11:34:43 更新
考虑禁用重定向,除非您有兴趣跟踪它们。在进行广泛的爬行时,保存重定向并在以后的爬行中重新访问站点时解决重定向是很常见的。这也有助于保持每个爬网批处理的请求数不变,否则重定向循环可能会导致爬网程序在任何特定域上投入过多的资源。
要禁用重定向,请使用:
REDIRECT_ENABLED = False
考虑禁用重定向,除非您有兴趣跟踪它们。在进行广泛的爬行时,保存重定向并在以后的爬行中重新访问站点时解决重定向是很常见的。这也有助于保持每个爬网批处理的请求数不变,否则重定向循环可能会导致爬网程序在任何特定域上投入过多的资源。
要禁用重定向,请使用:
REDIRECT_ENABLED = False
Copyright©2023 编程论坛编程论坛| 浙ICP备2024059924号-1|
违法和不良信息举报电话:|举报邮箱:569242693@qq.com