10月20日,北京【人工智能】源创会火热报名中,点击报名收获 AI 训练指南
Watch Star Fork

六月 / quick-crawlerJava

加入码云
与超过 300 万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
java crawler framework
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README.md 2.13 KB

quick-crawler

java实现的爬虫框架

从头开始, 一步一步的实现一个可用的爬虫框架,每个地方加一个里程碑的tag,主要用于记录这个工程的诞生过程

tag 记录列表

1. v0.001

实现了一个最简单,最基础的爬虫, 处于能用的阶段

2. v0.002

利用HttpClient来替代jdk的http请求;新增http参数配置

3. v0.003

实现深度爬网页

  • 支持正向、逆向链接过滤
  • 在内存中保存爬取记录,用于去重过滤
  • 提供爬取完成后的回调方法,用于结果处理

4. v0.004

实现爬取队列

  • 每个Job只执行当前网页的抓取,将网页中满足深度抓取的链接塞入队列
  • 新增Fetcher类,用于控制抓去任务

5. v0.005

实现Job任务中爬取 + 结果解析的分离; 完成任务结束的标识设定

  • 新增 ResultFilter 实现爬取网页的分析, 并将满足条件的链接塞入爬取队列
  • 新增 JobCount 来记录任务的爬取完成数, 以此完成整个任务的结束标识设定

6. v0.006

添加日志埋点

7. v.0.007

新增动态配置信息支持

  • 采用配置文件方式,支持配置信息的动态变更

相关博文

项目点评 ( 0 )

你可以在登录后,发表评论

搜索帮助