基于scrapy_redis部署scrapy分布式爬虫

1.下载工具包 scrapy_redis（如果使用的是虚拟环境，先进入虚拟环境再下载）2.配置项目的settings文件，配置scrapy项目使用的调度器以及过滤器如果你想在redis中存储一份，可进行以下操作：（也可以跳过此步）3.修改...

1.下载工具包 scrapy_redis（如果使用的是虚拟环境，先进入虚拟环境再下载）

2.配置项目的settings文件，配置scrapy项目使用的调度器以及过滤器

如果你想在redis中存储一份，可进行以下操作：（也可以跳过此步）

3.修改spider爬虫文件，继承RedisSpider类。

4.如果连接的有远程服务，比如mysql,redis等，需要将远程服务连接开启，保证在其他主机上能够成功连接

5.配置远程的Mysql及redis地址

为确保每一台主机正常连接，要关掉防火墙

6.远程连接redis

7.如果redis想访问远程的redis服务器，需要解除保护模式
做法
1） 在远程服务器登录redis-cli
2） 输入命令
config set protected-mode "no"  回车

8.连接redis客户端，添加爬虫文件

9.如果连接不成功，可尝试以下操作：