本周日【珠海源创会】一起聊聊:PingCAP分布式事务、支付宝移动端实践、GSBN技术框架选型,点此报名占座

GVP自风 / Spiderman2JavaApache-2.0

Watch 496 Star 1.1k Fork 411
加入码云
与超过 300 万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
二代蜘蛛侠,此版本完全重新开发,比上一代更加强大(性能,易用,架构,分布式,简洁,成熟) 展开 收起

赖伟威 最后提交于 change pom
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README.md

#Spiderman2

简单的说,这是一个网页爬虫工具,专门对网页内容进行抓取和解析
  • 性能
  • 架构简洁
  • 易用
  • 分布式
  • 插件
  • UI

要求:

  • Java8或以上

快速开始

dist目录下面有
- bootstrap.bat
- bootstrap.sh 

windows机器请执行bat, mac/linux机器请执行sh, 有任何问题留issue或评论

关于快速启动的说明:  
1. 使用源码方式,直接运行 src/main/java/test/TestListPageUseAPI.java  
2. 使用发行包,在 dist 目录执行 bootstrap.bat/sh, 注意里面的命令参数,最后一个是xml文件名,如果报文件找不到,就自己改成已有的配置文件名

更多例子请参考

  • src/main/java/test/TestListPageUseAPI.java
  • src/main/resources/*-example.xml

项目点评 ( 171 )

你可以在登录后,发表评论

搜索帮助

12_float_left_people 12_float_left_close