一、项目介绍
某调查综合平台是一个集基础数据库、调查综合管理平台、计算支撑保障平台、决策预警分析应用、经济调查大数据应用、公众数据服务应用等模块于一体的在线调查平台。该平台以调查过程数据、调查基础数据、汇总核定发布数据、互联网大数据为数据来源,整合现有应用资源,以统计调查任务驱动,对系统统计调查方式、数据存储、处理方式和发布方式进行优化。该平台提高了数据中心的承载能力和运行效率,实现了机房环境、网络安全和云数据资源的可视化运维。同时,该平台整合一整套数据分析处理工具,常规的趋势分析、回归分析、时序分析结果预测,再到数据的结果展示和分析报告生成,丰富了调查分析和数据处理方法。
主要实现以下目标:一是将解决原来主要依靠手工数据收集、处理数据的问题,提高处理效率,建立全省统一规范的产品信息发布维护渠道平台,各处室可方便地进行数据共享,促进市场拓展能力的提升;建立产品推广后运行信息收集平台,及时了解各地方实际情况、潜在风险及与先进数据的比较等信息。
项目包含多个系统进行协同工作,包含:数据平台、统一认证中心、消息中心、注册中心、调度中心、综合运维平台、综合管理平台、直报系统、执法系统、爬虫、决策预警系统、财务系统、词云系统、门户、在线报表及在线可视化等。
二、工作职责
1、负责统一认证中心、消息中心、注册中心、调度中心的整体设计及核心代码编写,输出开发对接文档,指导工程师完成业务系统的对接;
2、负责数据平台中数据清洗转换模块的开发;
3、负责综合管理平台中某个处室具体的业务模块功能需求调研,架构设计及开发;
4、为直报、执法、爬虫及词云系统的开发进行架构设计及技术选型,指导工程师进行开发,并解决开发过程中遇到的技术难点;
5、带领开发团队进行决策预警系统开发,完成系统设计,架构设计,选用python为主要开发语言辅以java进行其余边缘功能的补全。应用到包含:相关、方差、回归、列联表、主成分、判别、时间序列、生存、信度及因子等多个算法。
项目涉及技术:springboot、springcloud、nacos、redis、netty、kafka、python、java、datax、xxl-job、mysql、mongod、Hbase、Hive、vue等。
开发工具:IDEA、VSCODE、GIT、Pycharm等。
三、工作业绩
在项目将近两年的开发周期内,顺利完成了项目初验和终验,在这两年中我的工作得到了业主及公司领导的肯定。