scrapy 2.3 设置您自己的DNS

如果您有多个爬行进程和单个中心DNS，它会像DOS攻击DNS服务器一样，导致整个网络速度减慢，甚至阻塞您的机器。要避免这种情况，请使用本地缓存设置您自己的DNS服务器，并向某些大型DNS（如OpenDNS或Verizon）上游设置。