基于Spark的高校数据分析系统

介绍

基于Spark的高校数据分析系统 。同时实现了Spark-core（被注释了）;Spark-ML,Spark-streaming。

spark-streaming虽然过时很久了，但是对于我学习来说还是够了。 streaming存在很多的弊端，但是主要思想还是处理流式RDD。

新手gitter，不知道怎么处理项目文件的。这是文件夹的下面的说明，

• spark_student：IDEA项目文件。
• makeDataByPython : 模拟服务器制造log日志的python代码。
• other : 代码设计过程中的思路和想法。
• PPT：项目展示的PPT。
• reference_code ：参考代码。
• reference_data：参考数据。
• running_sh：软件运行脚本。
• spark_JAR：web_spark.jar。
• README.assets：是README.md 的引用文件。

软件架构

运行环境：centos 6.x、java、kafka、zookeeper、Flume、Hbase、HDFS、YARN、Spark、MySQl。

软件详细的配置文件，我得重新整理一下，之后会更新详细的内容。

安装教程

1. spark_student是IDEA项目，直接使用IDEA打开。（需要自行配置运行环境）
2. 在IDEA下运行，配置好maven。（国内访问mvn服务器较慢，建议使用阿里 https://maven.aliyun.com/repository/public ）

使用说明

1. 随便用。

参与贡献

1. 不允许贡献任何代码。
2. 但是可以在issue提出你的问题，谢谢你的参与。

我的微信：