项目一:银泰网电商千万级秒杀系统
开发时间:2018.03~2018.09
开发工具:VS2017、MySQL、RabbitMQ、SkyWalking、Consul、Nacos
部署环境:Docker/K8S/阿里云
项目描述: 随着电商行业的竞争加剧,为了吸引更多用户和促进销售,以限时、限量、超低折扣的商品激发用户的购买热情,从而提高平台的销售额和用户活跃度,为网站电商平台构建高并发秒杀系统,处理瞬间涌入的大量用户请求,保障商品能够在短时间内被公平,准确的抢购,同时确保系统在高负载下的稳定运行,秒杀系统采用前后端分离开发模式,前端采用vue,后端采用微服务架构,Abp VNext、ASPNETCore WebAPI。
主要技术栈:
Vue、Asp.NetCore WebApi、AbpVNext、Redis、RabbitMQ、Nginx+CDN动静分离、OpenResty、Skywalking、Prometheus/Grafana 、ELk、MogoDB、SnowFlake、Docker/K8s、Consul、Nacos、Mysql、ShardingSpher-Proxy。
职责描述:
1、系统架构设计:参与整理系统前期架构规划和设计,采用微服务架构,将系统主要拆分为秒杀微服务、商品微服务,订单微服务,库存微服务,支付微服务,用户微服务等关键模块提高了系统的可扩展性和灵活性。
2、并发处理:运用Redis缓存,消息队列等技术实现流量的削峰填谷,减轻数据库压力,提高系统并发处理能力,前端使用CDN+静态页面使动态接口请求量减少90%,页面加载时间从3s优化至300ms。
3、数据库优化:通过索引覆盖+分库分表(ShardingSphere),采用读写分离策略,确保数据库在高并发场景下的性能和数据一致性, 订单查询延迟从 2s 降至 50ms.。
4、核心数据处理:RabbitMQ削峰 异步处理订单,数据库写入压力从 5万TPS 降至 2000TPS,磁盘IO利用率降低 70%.。
5、防作弊机制设计:实现验证码、IP限制,用户行为分析等多种防作弊手段,保障秒杀活动的公平性。
6、测试策略与压测:使用Jmeter,ab等压测工具对系统进行每秒数以万计的请求压力测试,评估系统性能瓶颈,确保秒杀主流程的正确性,包括商品抢购,订单生成,库存扣减等核心功能的准确性。
7、监控与告警:搭建系统监控体系,实时检测系统性能指标,服务器资源使用情况,设置告警阈值,及时发现并解决潜在问题。
项目成果:
1、商品抢购的接口平均响应时间控制在300毫秒以内,用户体验良好。
2、RabbitiMQ异步削峰,峰值50000消息/秒, 订单积压 <0.1%.
3、单次秒杀活动参与用户数峰值达100W+,QPS:10万/秒,TPS:2000, 秒杀商品库存5000件在3秒内售罄。
4、通过容器化(K8s)弹性扩缩容,服务器资源成本降低 40%。
5、基于 Prometheus+Grafana 实现秒级监控,异常告警响应时间 ≤5秒。
项目二:软通集团中台业务交付能效数据分析平台。
开发时间:2021.09~2023.05
开发工具:PostgreSql,MySQL,Kettle,KettleOnline, Talend,PowerBI,赛思BI,ETL
部署环境:Nginx、Windows、KettleOnlie调度
项目描述:企业数据仓库不仅是技术基础设施,更是数字化转型的核心驱动力。它通过将原始数据转化为可行动的洞察,帮助企业实现从“经验驱动”到“数据驱动”的跨越,最终提升运营效率、风险控制能力和市场竞争力。通过数据仓库技术将多平台数据进行整合与统一管理以提供复杂分析与决策参考依据。
主要技术栈:Kettle、Talend、KettleOnline、PostgreeSql、GuassDB、HBase、Hive、Spark、 PowerBI、KafKa、Prometheus/Grafana。
职责描述:
1、与业务部门沟通,了解其对数据需求和使用场景,确定关键指标和分析维度,梳理现有数据源。
2、设计分层数据仓库架构,包括源数据层,数据清洗转换层,数据存储层和数据应用层。
3、开发ETL流程,从不同数据源提取数据,并进行数据清洗,转换和验证。
4、基于业务需求,构建维度模式和事实表,优化数据存储结构,建立索引和分区,提高数据查询性能。
5、与前端开发团队合作,开发数据可视化界面,展示关键业务指标。定期生成可视化报表。
6、监控数据库性能,进行参数调整和优化查询语句。
项目成果 :
1、替代业务部门手工Excel报表,定期生成运营日报、财务报表等,节省人力成本。
2、数