阅读(4143)
赞(31)
scrapy 2.3 减少下载超时
2021-06-16 11:33:48 更新
除非您是从一个非常慢的连接爬行（这不应该是广泛爬行的情况），否则请减少下载超时，以便快速丢弃卡住的请求并释放处理下一个请求的容量。
要减少下载超时，请使用：
DOWNLOAD_TIMEOUT = 15
除非您是从一个非常慢的连接爬行（这不应该是广泛爬行的情况），否则请减少下载超时，以便快速丢弃卡住的请求并释放处理下一个请求的容量。
要减少下载超时，请使用：
DOWNLOAD_TIMEOUT = 15