data2house

 pip install requirements.txt 

mysql>source db.sql

# Redis Config
REDIS_HOST = '127.0.0.1' #Redis数据库地址
REDIS_PORT = 6379 # 端口

# 接收邮件提示的邮箱 可配置多个
receivers = ['xxxxx@qq.com']

# 接收邮件提示的邮箱 可配置多个
receivers = ['xxxxx@qq.com']

# Proxy Config
proxyServer = ""  # 动态转发代理服务器地址
appkey = ''  # 代理服务商提供的key
CONCURRENT_REQUESTS = 15  # 最大并发数,与动态转发并发请求数保持一致

# Redis Config
REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379

host='127.0.0.1',  # 数据库地址
port=3306,  # 数据库端口
db='datagroup',  # 数据库名
user='xxx',  # 数据库用户名
passwd='xxx',  # 数据库密码

python3 lianjia_redis_master/runScrapy.py

python3 lianjia_redis_slaver/runScrapy.py