项目名称:XXXXX哑资源管理系统(团队开发)
责任描述:参与系统的原型设计和评审,对业务进行需求分析,对需要改进的地方提出合理的意见和建议,开发过程中,完成数据库设计,restful接口设计,代码优化和调试,测试改进阶段,为遇到的问题快速定位和快速解决等。
项目描述:完成设备日志管理,对设备调试信息进行处理,实时推送设备信息。组织管理,对公司组织架构采用树形结构形象的展示出来、人员管理,对公司人员进行分公司的管理方式,对人员需要进行组织,角色统一关联查询、岗位管理,相当于角色,建立与人员的关系。设施管理,做设施的管理,包含增删改查,信息录入、状态管理,包含设备的真实状态,告警状态,告警管理,对大批量的告警信息进行处理等。
使用的技术及工具:后端采用Springboot进行开发,MyBatis做数据库持久化,使用sql进行多表链接实现复杂业务查询等,使用dubbo进行服务间调用,使用websocket实现前后端实时数据推送,使用mysql集群做数据存储,系统在微服务架构的基础上采用分布式集群,实时数据处理,使用zuul作为统一网关,nginx做业务分发,实现负载均衡。项目前端使用树结构,自定义通过递归方式实现无限级树支持,使用angularjs进行开发,bootstrap实现页面布局管理。
项目名称:XXXXX大数据项目
责任描述:担任技术经理,对局部架构进行重构、难点公关,同时参与系统的原型设计和评审,对业务进行需求分析,对需要改进的地方提出合理的意见和建议。
项目描述:主要完成离线数据的数据处理清洗和入库工作,为数据科学家提供算法模型基础数据支撑。项目主要采集工业炼钢过程中的机器数据、工艺数据等,进行统一加工处理,然后将清洗整理后的放入hive数据库和根据需要放入greeplum关系数据库,每日数据处理
量大约1T左右。
使用的技术及工具:本项目主要是后端为主,通过使用Java线程池实现初期数据的处理,使用hdfs作为数据的基础存储和数据缓冲,最终通过数据去重等方式将处理后的数据放入hive数据仓库,接下来对基础处理后的数据进行一定的数据匹配,主要使用mapreduce进行离线数据处理,mapreduce获取hive数据后,进行业务匹配,最终将结果存入greeplum数据库。