GuaZi_Spider 瓜子二手车 scrapy 爬虫，突破瓜子网反爬实践。

介绍

本项目在python3.6环境开发，代码中包含常见的几种方式的爬虫实现：

• Spider 方式
• CrawlSpider 方式
• scrapy + selenium 方式
• RedisSpider 分布式
• RedisCrawlSpider 方式

使用说明

1. Git Clone 项目
2. PyCharm 打开项目，设置 GuaZi_Spider Sources Root
3. 若爆红目录或文件，先安装未安装的包
4. 查看 Program.py 介绍，使用哪一种方式运行，就把其他方式注释掉。

注意

1. 瓜子网的反爬机制分析见 spiders guazi.py。
2. mysql、redis 连接地址见 utils settings。
3. 代理IP, 使用的是代理精灵，自己调试运行时，请修改 utils proxy_helper.py 中的链接地址。

交流群

• QQ交流群： ，推荐点击按钮入群，当然如果无法成功操作，请自行搜索群号132941648进行添加 ），欢迎入群交流！