1、智慧园区管理平台
在智慧园区管理平台项目中,负责后端开发,采用Java语言和Spring Boot框架搭建微服务架构。
人行业务: 实现人员出入管理,包括员工刷卡、人脸识别等身份验证方式,将数据与企业内部系统集成,确保园区安全。
车行业务: 设计停车管理系统,包括车辆进出记录、车位实时监测、在线缴费等功能,提升园区交通效率。
球场预约: 搭建球场预约系统,使用户能够在线预订球场、查询预约状态,并支持支付功能,提高球场资源利用率。
多园区管理: 构建多园区管理模块,使得平台可扩展至不同园区,实现数据隔离和定制化管理。
权限与安全: 引入OAuth等安全机制,确保敏感信息的安全传输和存储,并实施权限管理,限制用户访问敏感数据。
前后端协作: 与前端团队协作,设计RESTful API,提供清晰的接口文档,确保前后端的有效沟通和协同开发。
技术栈: 使用MySQL数据库存储数据,集成Redis作为缓存,引入消息队列rocketMq以异步处理任务。同时,采用Docker容器化技术,通过Kubernetes进行容器编排,确保平台的弹性和可伸缩性。
该项目取得了良好的用户反馈,提高了园区内部运营效率,为不同场景下的园区管理提供了智能化解决方案。
2、大数据平台搭建与维护
在大数据平台搭建与维护项目中,担任技术负责人,负责架构设计、平台搭建和系统维护。
Hadoop生态系统: 构建基于Hadoop的分布式存储与计算平台,包括HDFS、YARN、MapReduce等组件,用于存储和处理海量数据。
海豚调度: 集成海豚调度系统,实现任务的调度与监控,确保作业按时完成,并通过调度算法提高资源利用率。
Canal与Dinky: 使用Canal进行MySQL数据库的实时增量同步,将变更数据导入大数据平台。结合Dinky实现分布式任务的调度与执行。
Flink: 引入Flink实时计算引擎,用于流式数据处理与分析。设计实时数据流管道,提高对数据的实时洞察能力。
DataX: 部署DataX数据传输工具,实现数据的离线批量传输,确保数据在不同存储之间的高效迁移。
性能调优与监控: 进行平台性能调优,优化集群配置,提高作业运行效率。同时,搭建监控系统,实时监测集群状态,保障平台稳定运行。
容器化与自动化: 使用Docker容器化技术,实现组件的快速部署与管理。通过Ansible等自动化工具,简化平台运维流程,提高运维效率。
团队协作: 与多个团队密切协作,包括数据工程师、运维团队和业务团队,确保平台满足不同业务需求。
该项目成功搭建了高可用、可扩展的大数据平台,为企业提供了数据分析与挖掘的支持,极大提高了数据处理效率和业务洞察能力。