代码拉取完成,页面将自动刷新
xlong-spider-egg 是一套基于Egg + Puppeteer + Sqlite3 开发的简易版爬虫项目(仅供学习和娱乐,请勿商用)。
Node.js
Egg.js
egg-view-nunjucks
puppeteer
node-sqlite3
响应式页面,主要兼容浏览器:IE10+、IE Edge、Safai、Firefox、Chrome等。
│ .autod.conf.js
│ .eslintignore
│ .eslintrc
│ .gitignore
│ .travis.yml
│ app.js // 项目启动配置,连接数据库
│ appveyor.yml
│ jsconfig.json
│ package.json
│ README.md
│
├─.vscode // vscode配置,用于配置less
│
├─static // 静态文件,保存项目截图
│
├─database
│ spider.db // SQLite数据库
│ README.md // 数据库设计说明
│
├─app
│ │ router.js // 路由配置
│ │
│ │
│ ├─controller
│ │ home.js // 前台相关controller
│ │
│ ├─extend
│ │ helper.js // 用来提供一些实用的 utility 函数
│ │
│ ├─public
│ │ │
│ │ ├─common // 通用模块
│ │ │
│ │ ├─upload // 爬取信息存储位置
│ │ │
│ │ └─home // 前台项目静态资源
│ │
│ ├─service // 用来执行具体的操作
│ │ sqliteDB.js // Sqlite查询封装方法
│ │ browser.js // 浏览器相关操作
│ │ spider.js // 爬虫相关服务
│ │ store.js // 文件存储服务
│ │ index.js // 前台服务
│ │
│ └─view // 模板文件
│
├─config
│ config.default.js // 项目配置相关
│ plugin.js // 插件
│
└─test // 测试相关
└─app
└─controller
home.test.js
npm install
npm run dev
npm run build
QQ:381612175 TEL: 18376686974
github:https://github.com/xLong1029/
站酷主页:http://xlong.zcool.com.cn/
UI中国:http://i.ui.cn/ucenter/358591.html
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。