2018.12––2019.04 参加山东省大数据国赛选拔赛
在此次比赛中,我主要负责数据分析这一模块,Hadoop搭建完成后,利用Java语言编写MapReduce并打上jar包,进行数据清洗,将清洗后的数据上传至hive中,并用HQL命令进行数据统计。
比赛中,协助同学做数据挖掘这部分,利用python做一个站点的爬虫,得到json数据。
在这次比赛中,获得第五名的名次。
2018.04 – 2018.11 参加山东省云计算技术与应用省赛
我在本次比赛中主要负责open stack、docker的搭建与运维。
在集训中,参加了由南京55所举办的云计算培训。进一步学习Iaas搭建与运维和docker file文件编写。
此次比赛,获得省赛三等奖名次。