TA Star 的项目 (8)

    Star Looly / hutoolJava GVP

    Hutool是一个Java工具包,也只是一个工具包,它帮助我们简化每一行代码,减少每一个方法,让Java语言也可以“甜甜的”。Hutool最初是我项目中“util”包的一个整理,后来慢慢积累并加入更多非业务相关功能,并广泛学习其它开源项目精髓,经过自己整理修改,最终形成丰富的开源工具集。

    最近更新: 13小时前

    Star 乾坤盒子 / MongooCrawlerJava

    一款低入侵分布式爬虫框架,仅仅依赖少量第三方包,具有多进程多线程,集成反爬、验证码破解方案,自由定制,cookie自动管理,多数据源支持(database,nosql,es),客户端-服务端分离(充分利用ip)集群支持等特性)

    最近更新: 1天前

    Star seagull1985 / LuckyFrameWebJava

    LuckyFrame测试平台是一款免费开源的测试平台,最大的特点是全纬度覆盖了接口自动化、WEB UI自动化、APP自动化,并且支持分布式测试,测试关键字驱动也很大程度上解决了测试同学代码基础弱的问题。同时也集成了质量管理相关的一些功能,解决QA的日常工作中,项目过程数据的收集问题,并能展示一些简单质量报表。更多功能可以关注公众号或是访问官网了解哦。

    最近更新: 7天前

    Star 糖先森 / hogJava

    Hog是一款高效且强大的Java开源采集系统,主要用于互联网数据抓取、处理、分析,挖掘软件,可以灵活迅速地抓取网页上散乱分布的数据信息,并通过一系列的分析处理,准确挖掘出所需数据。

    最近更新: 13天前

    Star 代码神童 / YayCrawlerJava

    分布式爬虫系统,简单使用,高级配置。可扩展,减轻开发量,能docker化,适应各种急切需求核心框架:WebMagic, Spring Boot ,MongoDB, ActiveMQ ,Spring + Quartz,Spring Jpa , Druid,Redis, Ehcache ,SLF4J、Log4j2, Bootstrap + Jquery 等,不详细列举了

    最近更新: 9个月前

    Star 水熊宝宝 / neocrawlerNodeJS

    牛咖-neocrawler nodejs 的爬虫系统。 特点: 支持web界面方式的摘取规则配置(css selector & regex); 包含无界面的浏览器引擎(phantomjs),支持js产生内容的抓取; 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽; nodejs none-block 异步环境下的抓取性能比较高; 中央调度器负责网址的调度(同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量; 支持多种抓取实例并存,定制摘取引擎和存储方式。

    最近更新: 1年多前

    Star buaaqingyuan / CasperMagicJava

    CasperMagic是基于PlantomJS&CasperJS和WebMagic的一个整合。CasperJS可以很方便对动态网页进行测试,但Javascript不太容易执行数据持久化和数据分析,而一般的爬虫很难抓取动态网页的内容或对页面进行操作并爬取。

    最近更新: 2年多前

    Star 恒拓运价魔方 / fdc-crawlerJava

    网络抓取引擎

    最近更新: 3年多前

搜索帮助