项目一
项目名称:商飞C919网络监控可视化大屏
所属公司:北京神州泰岳
开发技术栈:Maven、Spring Boot、SNMP(v2)、WebSocket、Redis、Kafka、Elasticsearch等
项目描述:商飞C919主要是针对C919网络化大屏进行开发,对现场云设施、各地网络专线链路、服务及存储资源等数据进行建模,指标数据采集,最后以大屏形式进行展示等。
主要参与模块:采集管理,Flink数据计算,Elasticsearch数据统计,复杂Excel导出等。
开发中出现的问题:SNMP采集模式问题,Kafka数据消费,部分消费数据丢失问题。
问题解决方案:数据消费Kafka的同时,会同时在Redis以过期键值的方式进行同步,二次确认方式解决数据丢失。
项目二
项目名称:业务告警采集模块开发
所属公司:北京神州泰岳
开发技术栈:Maven、Spring Boot、Redis、RabbitMQ、Elasticsearch等
项目描述:对实时业务采集数据进行计算,规则过滤,设置阈值,告警发送,实时告警等。
主要参与模块:多数据源数据库采集,接受响应数据处理并进行实时消费,页面告警展示开发等。
开发中出现的问题:相关采集任务多,数据量较大,聚合效率低,数据实时推送延迟问题。
问题解决方案:使用多线程(CompletableFuture进行异步数据汇聚),并建立数据消费机制,根据条数进行推送告警。
项目三
项目名称:某省政务一体化项目
所属公司:杭州非线
项目描述:对相关系统各组件进行部署,参与现场信创适配,漏洞修复,数据迁移,等保处理,数据中台部署等。
主要部署服务:Kubernetes、HDP、Elasticsearch、Zabbix等。适配服务:人大金仓、TongRDS、金蝶MQ等。
适配中出现的问题:国产服务器ARM架构高可用部署,Kubernetes、Ambari国产化适配。
问题解决方案:原使用传统Keepalived+HA高可用方案,出现VIP可漂移,但Kubernetes注册APIServer添加多Master节点失败,后使用代替方案ELB轮询策略进行高可用部署,包括Pod使用HPA自动伸缩扩容等。适配修改Ambari自动部署脚本,部分编译组件手动编译安装。
项目四
项目名称:浙江区域大型【金融、制造业】蓝鲸运维一体化建设
所属公司:嘉为科技
项目描述:涉及浙江区域各大银行IT资产管理、PaaS平台底座、灾备建设等。
主要参与模块:蓝鲸PaaS底座搭建维护,CMDB、ITSM、自动化、应用发布等模块建设开发。
适配中出现的问题:异地灾备,异地云上云下应用发布等。
问题解决方案:出于带宽因素考虑,中间件使用中转同步。为保证各类数据一致性,数据库使用实时同步。平台资产管理侧,部署双Agent方案,使用双写Proxy模式,保证数据资产信息准确性。