阅读(4542)
赞(0)
scrapy 2.3 使用权利
2021-06-16 11:00:20 更新
Scrapy的默认调度程序优先级队列为 'scrapy.pqueues.ScrapyPriorityQueue'
. 它在单域爬行时工作得最好。它不能很好地并行爬行许多不同的域
要应用建议的优先级队列,请使用:
SCHEDULER_PRIORITY_QUEUE = 'scrapy.pqueues.DownloaderAwarePriorityQueue'