爬虫（14） - Scrapy-Redis分布式爬虫(1) | 详解

1.什么是Scrapy-Redis Scrapy-Redis是scrapy框架基于redis的分布式组件，是scrapy的扩展；分布式爬虫将多台主机组合起来，共同完成一个爬取任务，快速高效地提高爬取效率。 原先scrapy的请求是放在内存中，从内存中获取。scrapy-redisr将请求统一放在re