1、大数据管理平台
开发环境:idea,Tomcat,jdk1.7,MySQL
平台架构:Spring+SpringMVC+MyBatis
项目描述:是我们公司的一个平台产品,平台提供包括hdfs、yarn、集成服务、pallas、hive、iGraphDB、hbase、iHyperDB、kafka、hue十大大数据组件的资源管理、配置管理及权限管理等,我全程参与该项目的后端开发,负责大部分模块的后端设计开发工作,此项目历时一年。
2、数据清洗系统
开发环境:idea,Tomcat,jdk1.7,MySQL、kafka、spark
系统架构:Spring+SpringMVC+MyBatis
项目描述:是我们公司的一个系统产品,系统主要提供数据清洗的相关配置和展示功能,具体包括数据源(以kafka为主)、清洗规则(包括空值规则、值域规则、关键字规则、比较规则、长度规则/枚举规则)、清洗算子(针对某些字段schema配置清洗规则形成清洗算子)、数据目标(以kafka为主)、清洗任务(清洗功能通过spark组件实现)以及权限的配置和数据统计及展示。我全程参与该项目的后端开发,负责全部模块的后端设计和开发工作,此项目历时五个月。
3.金安工程
开发环境:idea,Tomcat,jdk1.8,MySQL、Oracle、kafka、ES、hive、redis
系统架构:Springboot
项目描述:此工程主要实现搜集山东省所有私有企业的多维度信息(如工商信息、舆情信息、招聘信息、P2P信息、大额交易场所信息、金融数据等)进行企业画像(打标),该工程参与厂商众多,我公司主要负责数据接入存储系统,即把山东省所有私有企业的基本信息从多个数据源中接入、清洗、核验、统一存储(除了基本信息的存储还包括画像信息的存储)和维护。数据接入的主要技术为kafka、es和中间库,清洗采用redis去重策略,核验为我公司已有核验产品,存储使用hive、es、iGraphDB等大数据组件,并配套配置管理业务系统。我从方案设计开始就参与该项目,期间进行需求定义,全程参与该项目的后端及部分大数据(kafka、es、redis、hive)开发,负责全部模块的后端设计和开发工作,此项目历时六个月。