主要从事大数据开发、数据开发、Java开发

总体为数据抽取、hive数仓处理、数据中台，springboot微服务，数据分析、数据建模、数据开发。

Excel数据按需处理、网页数据爬取等都可以做。

涉及使用到的组件如下：

1.熟悉使用spark、hdfs、Hive、clickhouse、kudu、presto、sqoop、loader、datax、azkaban、hue、docker、Zabbix等；

2.熟悉使用storm流式框架开发，熟悉mongodb、kafka、elasticSearch、zookeeper操作，springboot组件化开发；

3.熟悉springboot注解搭建微服务应用，集成redis、mysql、oracle、达梦dm、kudu等；

4.熟悉应用Struts2+Hibernate+Spring架构注解开发模式，熟悉使用SSM+Maven+ mysql，了解cxf-restful webservice； 5.熟练使用linux、nginx

一.Excel数据按需求处理、网页数据爬取

二.政务部门大数据平台数据分析、数据治理开发
根据政务部门需求对XXXX十大业务数据进行数据采集接入到大数据平台，对接具体业务模块，按业务要求进行数据抽取、清洗换转、合并到hive数仓，形成基础库、主题库、专题库等进行数据治理，最终输出到下游MPP数据库，由springboot微服务提供接口服务，将数据输出展现到分析系统页面

三.银行数据需求分析、数据建模、数据开发
1.负责银行经营分析平台、费用项目管理平台两大平台的数据需求分析、数据建模、数据开发，主要完成贷款、分期、多维分析模块2.负责大数据平台的整体开发（数据分析、数据抽取、hive数仓4层加工、MPP数据库、springboot微服务输出）

四.Java开发各类小工具，避免手工重复劳动操作节省人工成本