2016/08-2016/12 遵义市公安局大数据全业务平台
所属公司:广州汇智通信技术有限公司
项目描述:
MyEclipse、Google Chrome Browser、Xshell、SecureCRT(开发工具)
Windows、Linux(软件环境)
该全业务系统的门户系统和数据管理平台系统的开发,门户包含各业务系统的链接与通信交互,角色登录,换肤功能,自定义页面模块,系统公告与消息等。数据管理平台系统包含svg数据流向图展示各种数据资源(储存在kafka、hive、hbase等)的使用情况以及对这些资源进行实时跟踪汇报。项目前台使用HTML5+css3+Angularjs+jquery+bootstrap框架开发,用AJAX与后台数据交互,websocket推送后台消息;后台使用分布式架构,用tomcat发布部署在Linux服务器上;数据库使用Oracle
责任描述: 参加系统设计,系统功能的实现
2017/09-2018/01 广东省大数据全业务平台
所属公司:广州汇智通信技术有限公司
项目描述:
MyEclipse、Google Chrome Browser、Xshell、SecureCRT、Toad for Oralce、DBeaver(开发工具)
Windows、Linux(软件环境)
广东省出入境管理局大数据平台的开发,负责的工作是对各种资源数据(电围、ps等)进行综合分析与挖掘。利用分布式数据库Hive、Mpp 以及非分布式数据库Oracle进行联动分析数据,资源数据从kafka、hbase、部分数据从Mpp以及Oracle录入到Hive,开发数据专题模板,后台Hadoop应用程序调度多线程运行模板,生成批量任务,在hive上进行分析,产出结果数据存储在本地,分析任务完成后利用HDFS同步导出到Mpp以及Oralce提供给其他平台以及业务系统调用
2018/02-2019/04 汇丰软件RBWM保险IT Big Data平台
所属公司:中软国际科技服务有限公司
项目描述:
IntelliJ IDE、SSH Secure Shell、Github
负责对各种资源数据进行标准化处理并注入到Hadoop平台。在Control-M部署批量定时任务,该任务利用Linux script程序抓取资源数据到汇丰内部云平台,在云平台上部署Java程序,对资源数据进行标准化处理,最后注入到hadoop平台data lake中进行数据分析