1 Star 29 Fork 15

shenzhanwang / Kettle-demo

Create your Gitee Account
Explore and code with more than 6 million developers,Free private repositories !:)
Sign up
This repository doesn't specify license. Without author's permission, this code is only for learning and cannot be used for other purposes.
Clone or Download
Cancel
Notice: Creating folder will generate an empty file .keep, because not support in Git
Loading...
README.md

Kettle-demo

ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程。用户从数据源抽取出所需的数据,经过数据清洗和转换,最终形成所需的数据仓库,可用于进行数据统计分析,做商业决策等 。本项目使用开源ETL工具kettle实现一些常用的功能进行演示。

  1. 查询和连接:包含数据流的查询、连接查询有关的组件。

  2. 脚本:包含自定义脚本的使用,脚本可以用代码向数据流添加变量。

  3. 输入和输出: 任何流程必备输入输出组件,输入组件用于把文件或表数据产生数据流到流程中,输出组件用于将数据流中的数据写入到表或者文件。

  4. 应用和流程: 给流程提供一些高级应用或者控制流程状态的操作。

  5. 转换: 提供数据流的转换处理功能。包括计算器、值映射等。

附录:中央技术储备仓库(Central Technique Reserve Repository)

基础篇:职业化,从做好OA系统开始

  1. Spring boot整合Mybatis实现增删改查(支持多数据源)输入图片说明
  2. Struts2,Hibernate,Spring三大框架的整合实现增删改查
  3. Spring,SpringMVC和Hibernate的整合实现增删改查
  4. Spring boot整合activiti工作流引擎实现OA开发输入图片说明
  5. Spring发布与调用REST风格的WebService
  6. Spring boot整合Axis调用SOAP风格的web服务
  7. Spring boot整合Apache Shiro实现RBAC权限控制
  8. 使用Spring security实现RBAC权限控制

中级篇:中间件的各种姿势

  1. Spring boot整合mongoDB文档数据库实现增删改查
  2. Spring连接Redis实现缓存
  3. Spring连接图存数据库Neo4j实现增删改查
  4. Spring boot整合列存数据库hbase实现增删改查
  5. Spring平台整合消息队列ActiveMQ实现发布订阅、生产者消费者模型(JMS)
  6. Spring boot整合消息队列RabbitMQ实现四种消息模式(AMQP)
  7. Spring boot整合kafka 2.1.0实现大数据消息管道
  8. Spring boot整合websocket实现即时通讯输入图片说明
  9. Spring security整合oauth2实现token认证
  10. Spring boot整合MinIO客户端实现文件管理
  11. 23种设计模式,源码、注释、使用场景
  12. 使用ETL工具Kettle的实例
  13. Git指南和分支管理策略
  14. 使用数据仓库进行OLAP数据分析(Mysql+Kettle+Zeppelin)

高级篇:分布式系统和大数据开发

  1. zookeeper原理、架构、使用场景和可视化
  2. Spring boot整合Apache dubbo v2.7.5实现分布式服务治理(SOA架构) 输入图片说明

包含组件Spring boot v2.2.2+Dubbo v2.7.5+Nacos v1.1.1 效果图

  1. 使用Spring Cloud Alibaba v2.1.0实现微服务架构(MSA架构)输入图片说明

包含组件Nacos+Feign+Gateway+Ribbon+Sentinel+Zipkin 效果图

  1. 使用jenkins+centos+git+maven搭建持续集成环境自动化部署分布式服务
  2. 使用docker+compose+jenkins+gitlab+spring cloud实现微服务的编排、持续集成和动态扩容
  3. 使用Spark进行分布式计算
  • Spark SQL做离线计算
  • Spark Streaming做实时计算
  • Structured Streaming做实时计算
  1. 使用Flink实现流批一体化的分布式计算
  2. 搭建高可用nginx集群和Tomcat负载均衡
  3. 使用mycat实现Mysql数据库的主从复制、读写分离、分表分库、负载均衡和高可用
  4. Spring boot整合Elastic search实现全文检索和大数据分析 输入图片说明

特别篇:分布式事务和并发控制

  1. 基于可靠消息最终一致性实现分布式事务(activeMQ)
  2. Spring boot dubbo整合seata实现分布式事务输入图片说明

包含组件nacos v1.1.0 + seata v0.7.1 +spring boot dubbo v2.7.5 效果图

  1. Spring cloud alibaba v2.1.0整合seata实现分布式事务 输入图片说明

包含组件nacos v1.1.0 + seata v0.7.1 +spring cloud alibaba v2.1.0 效果图

  1. 并发控制:数据库锁机制和事务隔离级别的实现输入图片说明
  2. 并发控制:使用redission实现分布式锁
  3. 并发控制:使用zookeeper实现分布式锁
  4. 并发控制:Java多线程编程实例
  5. 并发控制:使用netty实现高性能NIO通信

视频教程

输入图片说明

在线观看(含源码和PPT)

关注微信公众号获取更多技术文章和源码

输入图片说明

Repository Comments ( 1 )

Sign in to post a comment

About

使用ETL工具Kettle的实例 expand collapse
Java
Cancel

Releases

No release

Kettle-demo

Contributors

All

Activities

Load More
can not load any more
Java
1
https://git.oschina.net/shenzhanwang/Kettle-demo.git
git@git.oschina.net:shenzhanwang/Kettle-demo.git
shenzhanwang
Kettle-demo
Kettle-demo
master

Search