阅读(4666)
赞(0)
scrapy 2.3 按BFO顺序爬行
2021-06-16 11:37:13 更新
Scrapy crawls in DFO order by default .
然而,在广泛的爬行中,页面爬行往往比页面处理更快。因此,未处理的早期请求将保留在内存中,直到达到最终深度,这可以显著增加内存使用量。
Crawl in BFO order 而是保存内存。
Scrapy crawls in DFO order by default .
然而,在广泛的爬行中,页面爬行往往比页面处理更快。因此,未处理的早期请求将保留在内存中,直到达到最终深度,这可以显著增加内存使用量。
Crawl in BFO order 而是保存内存。
Copyright©2023 编程论坛编程论坛| 浙ICP备2024059924号-1|
违法和不良信息举报电话:|举报邮箱:569242693@qq.com