受互联网+概念的催化，在线教育市场发展火热，越来越多的在线教育平台相继上线，如：腾讯课堂、极客学院、网易云课堂等，那些注重用户服务、教育质量的平台会最终胜出。如何提高用户服务水平，提高教育质量是每个机构都面临的问题，大数据技术的应用可以从海量的用户行为数据中进行挖掘分析，根据分析结果优化平台的服务质量，最终满足用户的需求。智慧学成项目就是将大数据技术应用于在线教育领域，从海量的用户行为数据中进行挖掘分析，分析用户的学习行为、学习质量等指标，为企业经营提供数据支撑。
该项目是对在线教育平台业务进行大数据统计分析的系统，对课程、用户、教育机构三个业务领域进行数据挖掘，采用企业级ETL的规范化研发流程，以及企业级数据仓库建模思想，对课程、用户、机构三个主题的不同维度进行数据分析，挖掘数据的价值，为在线教育平台运营提供参考数据依据。
我的职责
1. 日志服务器采集用户行为数据保存到hdfs中 / NiFi采集业务数据
2. 根据采集的原始数据数据进行清洗
3. 根据清洗的结果进行统计分析
4. 统计分析的进行数据存储
5. 结果数据提供给业务使用：报表系统展示