2 Star 0 Fork 0

mukitech / spiderServerless

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

spiderServerless

使用jsoup,httpClient创建的爬虫项目

base

包含基本配置类 数据库配置类,数据库连接类

entity 实体包

将每个页面封装成HtmlEntity实体类

exception

自定义异常类

http

定义了http请求的接口,封装了http请求的执行,并将执行结果以HtmlEntity封装,送到parser解析器中解析

parser 解析包

定义数据解析方法,内置$_id(String id),$_class(String class)等方法 解析结构类似html,如样例中的$_id("#ip_list")是解析

里的数据

processor

启动接口,内接请求队列接口,目前队列接口尚未完成

proxy

代理包,与代理ip相关的一些处理方法,共有两种方法,一种为通过代理ip网站获取代理ip,ip存活期不长 一种是根据收费网站获取代理ip,将ip直接以文件的方式植入程序中

timeUtils

时间相关类,后期可能会封装能用到定时器等时间类接口

tool

工具包

空文件

简介

使用jsoup,httpClient创建的爬虫项目 展开 收起
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
1
https://gitee.com/mukitech/spiderServerless.git
git@gitee.com:mukitech/spiderServerless.git
mukitech
spiderServerless
spiderServerless
master

搜索帮助