1 Star 2 Fork 0

温斌 / easy-spider

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

easy-node-spider

介绍

这是个基于request和async模块的简单爬虫,参数和request参数相同

软件架构

软件架构说明

安装教程

  1. npm install

使用说明

  1. var Spider = require('easy-node-spider')
  2. var esp = new Spider(paramList,limit,timer);
  3. esp.run(dealcallback,callback);

参数说明

paramList是一个request的请求参数的数组

参数 是否必须 示例 备注
paramList ['http://www.baidu.com'] 请求参数的数组或url数组
limit 1 设置最大线程默认是1
timer 1000 设置每个请求间隔的时间默认是0
dealcallback dealcallback(err,body,data,callback) 单个数据的处理函数
callback callback(result) 处理最后的结果数组

空文件

简介

这是个基于request和async模块的简单爬虫 展开 收起
NodeJS
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
NodeJS
1
https://gitee.com/wben107/easy-spider.git
git@gitee.com:wben107/easy-spider.git
wben107
easy-spider
easy-spider
master

搜索帮助