1 Star 0 Fork 54

jee / partitionjob

forked from kailing / partitionjob 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

partitionjob

spring boot上构建spring batch远程分区Step,分布式多机处理,提高spring batch处理时效

批处理是企业级业务系统不可或缺的一部分,spring batch是一个轻量级的综合性批处理框架,可用于开发企业信息系统中那些至关重要的数据批量处理业务.SpringBatch基于POJO和Spring框架,相当容易上手使用,让开发者很容易地访问和利用企业级服务.spring batch是具有高可扩展性的框架,简单的批处理,复杂的大数据批处理作业都可以通过SpringBatch框架来实现。

欢迎加入开源技术QQ群一起交流:613025121

项目特色

本项目不仅搭建了一个完整的可直接运行的spring batch远程分区处理实例,而且基于spring profile控制,可实现如下模式部署

  • 一主多从
  • 多主多从
  • 主从混用

架构图

输入图片说明

原理简述

基于RabbitMQ,master节点将数据根据相关逻辑(ID,hash),拆分成一段一段要处理的数据集,然后将数据集放到消息中间件中(ActiveMQ,RabbitMQ ),从节点监听到消息,获取消息,读取消息中的数据集处理并发回结果

更多详情可移步博客:kailing.pub,更多关于spring batch的技术交流可在博客留言区给我留言

空文件

简介

spring boot构建spring batch远程分区Step,分布式多机处理,提高spring batch处理时效 展开 收起
Java
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Java
1
https://gitee.com/jempson/partitionjob.git
git@gitee.com:jempson/partitionjob.git
jempson
partitionjob
partitionjob
master

搜索帮助

14c37bed 8189591 565d56ea 8189591