Chunjun

English | 中文

技术交流

• 招聘Flink研发工程师，如果有兴趣可以联系思枢（微信号：ysqwhiletrue）
  Flink开发工程师JD要求：
  1.负责袋鼠云基于Flink的衍生框架数据同步chunjun和实时计算flinkstreamsql框架的开发；
  2.调研和把握当前最新大数据实时计算技术，将其中的合适技术引入到平台中，改善产品，提升竞争力；
  职位要求：
  1、本科及以上学历，3年及以上的Flink开发经验，精通Java，熟悉Scala、Python优先考虑；
  2、熟悉Flink原理，有基于Flink做过二次源码的开发，在github上贡献者Flink源码者优先；
  3、有机器学习、数据挖掘相关经验者优先；
  4、对新技术有快速学习和上手能力，对代码有一定的洁癖；
  加分项：
  1.在GitHub或其他平台上有过开源项目
  可以添加本人微信号ysqwhiletrue，注明招聘，如有意者发送简历至sishu@dtstack.com

• 我们使用钉钉沟通交流，可以搜索群号[30537511]或者扫描下面的二维码进入钉钉群

  

介绍

Chunjun 1.12 新特性

Chunjun是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等。同时，Chunjun也是支持原生FlinkSql所有语法和特性的计算框架，并且提供了大量案例。Chunjun目前包含下面这些特性：

• 大部分插件支持并发读写数据，可以大幅度提高读写速度；

• 部分插件支持失败恢复的功能，可以从失败的位置恢复任务，节约运行时间；失败恢复

• 关系数据库的Source插件支持间隔轮询功能，可以持续不断的采集变化的数据；间隔轮询

• 部分数据库支持开启Kerberos安全认证；Kerberos

• 可以限制source的读取速度，降低对业务数据库的影响；

• 可以记录sink插件写数据时产生的脏数据；

• 可以限制脏数据的最大数量；

• 支持多种运行模式；

• 同步任务支持执行flinksql语法的transformer操作；

• sql任务支持和flinkSql自带connectors共用；

Chunjun目前支持下面这些数据库：

快速开始

请点击快速开始

通用配置

请点击插件通用配置

统计指标

请点击统计指标

Iceberg

请点击 Iceberg

Kerberos

请点击Kerberos

Questions

请点击Questions

如何贡献Chunjun

请点击如何贡献Chunjun

License

Chunjun is under the Apache 2.0 license. See the LICENSE file for details.