阅读(4083)
赞(0)
scrapy 2.3 减少下载超时
2021-06-16 11:33:48 更新
除非您是从一个非常慢的连接爬行(这不应该是广泛爬行的情况),否则请减少下载超时,以便快速丢弃卡住的请求并释放处理下一个请求的容量。
要减少下载超时,请使用:
DOWNLOAD_TIMEOUT = 15
除非您是从一个非常慢的连接爬行(这不应该是广泛爬行的情况),否则请减少下载超时,以便快速丢弃卡住的请求并释放处理下一个请求的容量。
要减少下载超时,请使用:
DOWNLOAD_TIMEOUT = 15
Copyright©2023 编程论坛编程论坛| 浙ICP备2024059924号-1|
违法和不良信息举报电话:|举报邮箱:569242693@qq.com