202.03-2020.08 数据开发及数据呈现工程师 各省农业面积分析
通过 sqoop 从农业信息数据库(Mysql)中获取数据,导入业务分析平台 HDFS 文件系统;用 MapReduce 处
理 HDFS 数据,对清洗后的数据按照一定规则进行统计,处理完成存储 HDFS 中;使用 ECHARTS 对处理的
数据进行数据呈现。
2021.9-2021.11 数据开发及数据呈现工程师 疫情防控系统
通过 JAVA 爬虫对疫情数据爬取,爬取的数据存储到 MYSQL 中;使用 kafka 实时传输技术对数据进行实时
爬取与传输。处理后传输进前端(WEB)布局的 ECHARTS 数据呈现系统,进行交互式疫情数据呈现