Spider

demo 是关于acfun的最新爬虫

介绍

node-spider 聚合服务
1 分布式爬取
2 redis
3 mongoose存储
4 pm2管理进程
5 logger日志管理

软件架构

软件架构说明 bin ---->启动目录 utils -----> 工具logger service ----->数据库存储服务 models -----> 存储的model层模型 routers ---> 服务对外提供接口 scripts ----> 脚本运行文件 可以控制频率

安装教程

1. npm i
2. 配置setting.js

使用说明

1. NODE_ARGV_2=***** pm2 start ./scripts/spider.js -p 0 (NODE_ARGV_2=start_getting_articles pm2 start ./scripts/spider.js)

参与贡献

author : wenbin email :1070156025@qq.com