阅读(755)
赞(0)
scrapy 2.3 禁用重试
2021-06-16 11:25:05 更新
重试失败的HTTP请求会大大降低爬行速度,特别是当站点原因响应速度非常慢(或失败)时,会导致超时错误,该错误会被多次不必要地重试,从而阻止爬行器容量被重新用于其他域。
要禁用重试,请使用:
RETRY_ENABLED = False
重试失败的HTTP请求会大大降低爬行速度,特别是当站点原因响应速度非常慢(或失败)时,会导致超时错误,该错误会被多次不必要地重试,从而阻止爬行器容量被重新用于其他域。
要禁用重试,请使用:
RETRY_ENABLED = False
Copyright©2023 编程论坛编程论坛| 浙ICP备2024059924号-1|
违法和不良信息举报电话:|举报邮箱:569242693@qq.com