同步操作将从 fhs_opensource/数据中台 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
基于kettle的可视化数据集成平台
公司有整套数据中台源码出售,基于doris实现的数据仓库,支持PB级别是数据存储分析,功能模块如下:
支持自动采集、手动维护、统计分析
标准词根、标准字典、数据元、标准模型、发布、多版本维护、数据标准核对
支持主题域、主题、数仓集群、维度建模、模型运维、模型审计、模型数据查看、数仓备份和恢复
规则定义,任务执行,结果查看,统计分析,质量问题修复日志
数据血缘,数据流向
标签对象、标签管理、置标任务、标签圈群、标签画像
接口在线开发(支持通过JS脚本对数据进行处理后返回,支持动态SQL),接口测试,接口发布,应用管理,应用授权
目录编目,资产项授权,资产项查看,资产项申请
kettle调度,kettle 任务/转换 在线设计 ,datax任务在线构建 调度执行 drois多数据目录维护,简易ETL、FLINK
数据集,报表管理,报表设计,报表查看
后端:Java springboot2.7 springcloud/alibaba mybatis plus hutool 等常见技术
前端:vue elementui vite 等常见技术
中间件:doris,mysql,redis,rabbitmq,minio,zookeeper。
基于kettle实现的web版数据集成平台,致力于提供web可拖拽的数据集成平台。
其主要特点有:
由于公司采用springcloud微服务架构开发整个数据中台产品,数据集成属于其中的一个子模块,所以暂时还是采用springcloud的架构进行开源,便于版本统一。
新版也在同步研发中,后续会开放
非常欢迎大家来参与贡献,贡献流程请参考: TODO
可以参考:http://www.young-datafan.com/docs-data-integration/quick-start/installation-docker/. 这个文档部署演示
mvn -B clean compile install -Prelease -Dmaven.test.skip=true -Dcheckstyle.skip=true
准备好redis,nacos,minio,redis
使用数据库连接工具连接数据库,创建数据库dataintegration,将项目/install/sql/dataintegration.sql导入数据库中,初始化数据库文件。
1、修改dc-kettle-model-provider、dc-kettle-gateway、dc-kettle-run-provider、dc-kettle-sys-provider 的yaml文件
2、启动上面3个微服务和网关
3、如果某一些依赖下载不了(日立的maven仓库很慢很慢),可以+v找我要。
终端进入 dc-kettle-ui 目录
# install dependencies
npm install
# serve with hot reload at localhost:8080
npm run dev
访问前端页面:http://127.0.0.1:8081/dataintegration-ui/#/ 默认的用户是admin,默认的密码是Prime@2020 或者123456
请参考 LICENSE 文件.
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。