精通java后台技术;
熟练使用spring 开发框架;
熟练掌握mysql, oracle, redshift, postgres, mongoDB, Greenplum 等数据库;
熟悉大数据组件:spark,flink、hadoop, kafka, zookeeper, hive ;
熟悉workflow工具azkaban; 熟练使用db 管理工具flyway, maven, git;
熟练使用docker, kubernetes 容器;
英语托业815分、CET-6。
2018.8 - 至今 南瑞信通 信息化业务部
职位:研发负责人
项目名称:全场景网络安全态势感知平台
项目内容:全场景网络安全态势感知平台用于向安全管理人员、安全监测人员、安全分析人员提供全网及省公司总体态势及专题态势监测和展现、安全布防、告警监测、专题监测、业务监测、特保监测等功能。同时为各单位蓝队日常网络安全监测和处置工作的开展提供支撑。
1.我主要负责后端的实时、离线大数据程序的技术选型,架构设计和开发,
2.搭建自有云环境,负责现有模块上云工作。
3.负责模块的微服务设计,docker容器化同时k8s部署化。
4.研究阿里云的实时计算Blink,离线计算平台MaxComputer。将大数据平台从之前的CDH架构,通过技术框架改造,业务修改迁移到阿里云。
2016.7 – 2018.7 南京凯易讯网络技术有限公司
职位:大数据工程师
项目名称1:Compass -Flow Analyze Plus
项目内容:这是一个流量分析系统,它包含历史数据和实时数据两个子分析系统。历史数据分析系统使服务提供商人员能够深入了解其网络和用户的过去一段时间的情况,并且提供基于各种维度,例如流量,地理位置,app等的报表,并且支持pdf和csv文件导出,从而作为其他分析系统的输入。前端基于nodejs框架meteor, nosql数据库mongodb,后端主要基于jasper工具生成报表以及vertx生成大的csv文件。
实时数据分析系统,允许用户实时监控网络和用户流量,使他们能够诊断现场问题并响应网络状况和用户行为的突然变化。前端主要用到kafka-node.js第三方包,后端用到kafka,zookeeper,以及storm.
项目名称2 :Marketing Cloud 数据分析平台
项目内容:Marketing Cloud 主要解决运营商营销面临的挑战。它通过分析运营商数据仓库里面的静态账单,例如每月的千兆字节消耗和服务费,让运营商深入了解用户的使用方式,从根本上影响市场营销。我主要负责后端api以及数据分析,包括运用docker, kubernates等容器技术,方便工程的部署和升级。用到的技术主要有java, python, sql,docker, kubernates.
项目职责:
基于开源的Kafka-node js, 开发real-time功能,将实时流量信息展示给客户,提高了产品的直观和美观性。
为公司引入linked-in开源的workflow工具azkaban,替换cronjob, 用依赖代替传统的估计时间,有重试,失败发送邮件等功能,从而降低产品的维护成本。
引入flask技术,将现有的phthon script以web-service的方式暴露出去,极大的提高了产品的易用性。
独自完成spark环境搭建,基于pyspark编写aggregate python 脚本,对数据进行预运算,提高后续查询的速度 。
运用docker容器,将项目的工程docker 化,并部署在k8s 环境中,让升级变得简单化。
优化项目已有的python脚本,抽象父类,增加参数,使脚本执行更加灵活。
运用flyway管理项目的db schema修改。
使用jasper report 工具,写meteor code, 将报表以web方式展现出来,并且参与报表的性能调优,优化sql, 缩短执行时间。
工作业绩:
工作两年期间,评级都是4级(1-5级评级体系),引入多项开源技术。
2014.4 – 2016.06 南京华为软件技术有限公司
职位:软件开发工程师
项目内容:多媒体客服系统是为应对新媒体而设计的一套话务系统,主要对接微信公众平台,飞信等多媒体消息平台,实现客户消息从多媒体客户端到坐席的整个服务。该系统包含3个组件:1)接口机系统对接多媒体平台,完成上行消息接收和数据初步封装,作为数据适配通道和数据安全隔离;2)坐席业务系统完成消息的数据规整固化,以及会话状态维护;3)网关系统负责消息路由到平台并分发到坐席,该组件采用生产者消费者模式实现消息队列往平台路由;技术上后台采用Spring+ibatis框架完成业务处理。
项目职责:
刚入公司,作为新员工的小组长,多次组织组员分享javaweb开发的技术,总结输出技术文档十多篇。
和同事一起对一个老的模块前端框架进行整改,从struts1.x替换成springMVC,并且完成相关的验证测试,保证功能的正确性。
进入互联网客服的项目组,参与消息发送,断链,密码校验,满意度调查的webservice接口开发工作,包括使用多线程技术,完成消息的上下行通信。成功
职位:研发负责人 项目名称:全场景网络安全态势感知平台 项目内容:全场景网络安全态势感知平台用于向安全管理人员、安全监测人员、安全分析人员提供全网及省公司总体态势及专题态势监测和展现、安全布防、告警监测、专题监测、业务监测、特保监测等功能。同时为各单位蓝队
角色:研发经理 项目内容:数据中台安全监测平台针对阿里dataworks-数据保护伞和云盾-敏感数据保护SDDP两个安全组件的敏感数据和日志,结合国网公司的业务,开发的一套具备安全态势感知、敏感数据分布识别、分析、展示、数据中台异常行为的实时分析与告警的系统。具体子功能包含:1
角色:研发负责人 项目内容:数据中台安全监测平台针对阿里dataworks-数据保护伞和云盾-敏感数据保护SDDP两个安全组件的敏感数据和日志,结合国网公司的业务,开发的一套具备安全态势感知、敏感数据分布识别、分析、展示、数据中台异常行为的实时分析与告警的系统。具体子功能包含: