Watch Star Fork

xsdkj / hogJavaApache-2.0

forked from 糖先森 / hog 
加入码云
与超过 300 万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
Hog是一款高效且强大的Java开源采集系统,主要用于互联网数据抓取、处理、分析,挖掘软件,可以灵活迅速地抓取网页上散乱分布的数据信息,并通过一系列的分析处理,准确挖掘出所需数据。
糖先森 最后提交于 更行README.md
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README.md 2.76 KB

Hog

简介

Hog 的英文全称为hand of god 英文含义为上帝之手

Hog是一款高效且强大的Java开源采集系统,主要用于互联网数据抓取、处理、分析,挖掘软件,可以灵活迅速地抓取网页上散乱分布的数据信息,并通过一系列的分析处理,准确挖掘出所需数据。

界面截图

主界面截图

功能

Hog的每一个功能你应该都会用到。我们将市面上成熟且收费的采集软件大部分功能添加进来,只有这样才能提升Hog的竞争力。

  • 可视化配置采集规则
  • 自定义采集任务
  • 多任务并行采集
  • 采集规则导入/导出
  • 定时采集
  • 模拟登陆
  • 动态cookies池
  • 支持多种数据库进行内容落地
  • 插件系统
  • ocr验证码识别
  • 动态IP代理池

如果有新版可用,升级过程也是非常简单的,只需要重新部署新版本就可以,不用运行额外的任何脚本。

界面

正在开发

文档

  1. 直接使用
  2. 开发者学习
  3. 如何更新
  4. 插件编写
  5. 常见问题
  6. 参与贡献
  7. 捐赠我们
  8. 更新日志

技术

  • 后端框架: Hog使用了轻量级 mvc 框架 Spring boot、Spring、Mybatis
  • 数据库: MySQL
  • 模板引擎: thymeleaf
  • 前端框架: 前端部分为了降低复杂度, 只依赖于 jQuery、EasyUI 等组件

另外,为了保证 Hog 的质量,我们也做了很多努力,包括:

  • 统一规范的编码风格
  • 完善的 javadoc 注释
  • 不断完善的测试用例、持续集成

贡献

所有贡献者可以在这里看到。

我们非常期待你加入到这个项目中,无论是使用反馈还是代码补丁,都是对 Hog 一份满满的爱

开源协议

Apache 2.0

讨论区

  • 来一发 issue
  • 加入 Hog 开发支持 Q 群 154514123

鸣谢

Hog 的诞生离不开以下开源项目:


Hog , 为采集而生

项目点评 ( 0 )

你可以在登录后,发表评论

搜索帮助