1 Star 0 Fork 64

lism / WechatSpider

forked from 最爱吃小鱼 / WechatSpider
暂停
 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
README.md 975 Bytes
一键复制 编辑 原始数据 按行查看 历史
最爱吃小鱼 提交于 2018-02-09 23:10 . 自动抓取完成

WechatSpider

抓取微信公众号全部文章,采用AnyProxy+Java实现

启动环境

Java JDK, NodeJs, npm, AnyProxy, Mysql, maven, linux or mac os

准备工作

  1. Mysql 创建表脚本在 db.sql 文件中
  2. 修改项目中application.properties的数据库连接地址

启动

git clone https://gitee.com/poet/WechatSpider.git

// 进入项目的文件夹
cd WechatSpider

// 安装 AnyProxy
npm install -g anyproxy

// 启动 AnyProxy
anyproxy --intercept --silent true  --rule ~/WechatSpider/src/main/resources/spider.js

// 打包项目
mvn clean install -Dmaven.test.skip=true

// 启动
java -jar target/WechatSplider-1.0-SNAPSHOT.jar

手机代理设置

  1. host设置服务器的地址
  2. port=8001

参考资料

  1. http://anyproxy.io/cn
  2. https://github.com/lqqyt2423/wechat_spider
  3. http://www.cnblogs.com/luojiangwen/p/7943696.html
  4. https://gitee.com/zsyoung01/AnyProxy
Java
1
https://gitee.com/lism/WechatSpider.git
git@gitee.com:lism/WechatSpider.git
lism
WechatSpider
WechatSpider
master

搜索帮助