Fire框架是由中通大数据自主研发并开源的、专门用于进行Spark和Flink任务开发的大数据框架，可节约70%以上的代码量。首创基于注解进行Spark和Flink任务开发，具备实时血缘、根因诊断、动态调优、参数热调整等众多平台化功能。Fire框架在中通内部每天处理数据量高达数千亿，在外部已被数十家公司所使用。

Spark SQL运行中间件，运行在Spark SQL上的动态SQL利器

数据血缘，支持spark sql,presto sql,tidb sql, flink sql, datax血缘,Spark/flink jar 运行命令的血缘解析；支持with语法

基于Spark ml，构建从数据预处理，特征工程，机器学习模型训练，服务定时调度再到服务发布等功能的平台。支持自定义的spark ml模型，pmml模型的服务发布，以Rest的方式提供接口服务

Spark/Flink任务调度

大数据训练营代码

基于lambda架构的商品推荐系统： 1）使用Spark-ML的ALS算法离线训练模型 2）前端埋点用Saprk-structure-streaming修复模型

爬取疫情数据并处理展示

大数据学习综合站

大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK.....

spark-gmall-project