梦中有梦
高级 java 工程师
哈啰出行 · 5年经验
日薪：
￥600/8h
地点：
上海 徐汇
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
有近5年的Java后端开发经验，主导了公司多个大型系统项目的框架搭建与整体架构设计，也是团队核心开发，为客户的大型立库项目快速上线。业务友好型程序员，负责过哈啰营销中台项目和mes项目，熟悉Spring、SpringMVC、SpringBoot，MyBatis-Plus等核心框架，了解SpringCloud&Dubbo等微服务框架，中间件擅长Redis、RocketMQ，对MySQL数据库有深入理解，擅长SQL语句的编写和调优。
项目经验
某某物流信息订单 实时数据看板
技术栈:AnalyticDB MySQL(玄武引擎)、PolrDB、DTS、阿里云C++计算引擎、SpringBoot、Redis、异步处理、权限控制
项目简介:调度履约看板原使用Elasticsearch(ES)进行查询和数据聚合,但因查询性能和成本问题,无法满足业务需求。本次
项目旨在利用阿里云DTS Data Transmission Se服务)实现DB数据同步到AnalticDB MySQL(ADB),构建更高效的实时看板,以支持业务迭代,提升查询效率,降低系统成本
关键指标:调度看板涵盖订单量、应履约量、及时率等21个核心指标,实时监控履约情况,为业务提供准确的数据支撑项目技术点和职责:
1.数据库选型:采用云原生数据仓库AnalyticDB MySQL(玄武引擎),支持每日300万+数据处理量,确保
查询性能和数据存储的稳定性。
2.计算引擎优化:利用阿里云C++计算引擎,优化索引构建与SQL查询效率,减少CPU资源消耗,
a.索引构建优化:调整索引构建的时间窗口,避免高峰期CPU负载过高,提高系统稳定性,b.异步SQL处
理:采用异步计算方式,提高大规模数据查询与计算的吞吐量,减少响应时间
3.DTS数据同步方案:
a.采用DTS (Data TransmissionService)进行数据同步,PolarDB一ADB,支持全量+增量数据同步,确
保数据的实时性和一致性。
b.创建order fetch time、order call、order cncel三张核心表,以create on字段控制生命周期,每 31天自动清理历史数据,优化存储性能。
4.指标计算与SQL优化
a.重新编写21个指标的SQL计算逻辑,包括订单量、及时率等核心数据,支持复杂的条件判断和多表关联查询。
b.通过优化索引、查询分片、分批计算,提升SQL查询效率,数据处理速度提升50%+。
c.编写代码计算揽收率、及时揽收率等业务核心指标,为策略优化提供数据支持
5.接口改造与优化:
a.重新设计查询明细、查询统计量、查询合计统计量、明细导出、合计量导出等核心接口,优化数据获取与处理流程,提升查询效率。
b.采用分页查询+异步处理优化大数据量查询,避免单次查询数据量过大导致超时
6.权限控制与幂等机制
a.在接口层增加用户权限控制,确保不同角色只能访问其对应的履约数据,提高数据安全性
b.采用幂等锁机制,防止重复提交或异常情况导致的数据不一致问题。
7.RT与QPS优化
a.目标:RT≤1s,最大QPS30
b.采用数据库查询优化+缓存预热+异步计算等方式,提升查询效率,确保在高并发情况下的系统稳定性。
c.通过优化SQL执行计划和减少不必要的计算,降低数据库查询时间,提高系统吞吐量。
最终成果:
a.数据处理能力:支持300万+日数据量,查询性能优化50%,履约数据准确率达99.99%。
b.系统响应优化:RT由原3s降至≤1s,最大QPS提升至30,满足业务需求
c.成本节约:ADB替代ES,减少云计算成本7000元+/月,CPU资源消耗降低40%+,
技术栈:AnalyticDB MySQL(玄武引擎)、PolrDB、DTS、阿里云C++计算引擎、SpringBoot、Redis、异步处理、权限控制
项目简介:调度履约看板原使用Elasticsearch(ES)进行查询和数据聚合,但因查询性能和成本问题,无法满足业务需求。本次
项目旨在利用阿里云DTS Data Transmission Se服务)实现DB数据同步到AnalticDB MySQL(ADB),构建更高效的实时看板,以支持业务迭代,提升查询效率,降低系统成本
关键指标:调度看板涵盖订单量、应履约量、及时率等21个核心指标,实时监控履约情况,为业务提供准确的数据支撑项目技术点和职责:
1.数据库选型:采用云原生数据仓库AnalyticDB MySQL(玄武引擎),支持每日300万+数据处理量,确保
查询性能和数据存储的稳定性。
2.计算引擎优化:利用阿里云C++计算引擎,优化索引构建与SQL查询效率,减少CPU资源消耗,
a.索引构建优化:调整索引构建的时间窗口,避免高峰期CPU负载过高,提高系统稳定性,b.异步SQL处
理:采用异步计算方式,提高大规模数据查询与计算的吞吐量,减少响应时间
3.DTS数据同步方案:
a.采用DTS (Data TransmissionService)进行数据同步,PolarDB一ADB,支持全量+增量数据同步,确
保数据的实时性和一致性。
b.创建order fetch time、order call、order cncel三张核心表,以create on字段控制生命周期,每 31天自动清理历史数据,优化存储性能。
4.指标计算与SQL优化
a.重新编写21个指标的SQL计算逻辑,包括订单量、及时率等核心数据,支持复杂的条件判断和多表关联查询。
b.通过优化索引、查询分片、分批计算,提升SQL查询效率,数据处理速度提升50%+。
c.编写代码计算揽收率、及时揽收率等业务核心指标,为策略优化提供数据支持
5.接口改造与优化:
a.重新设计查询明细、查询统计量、查询合计统计量、明细导出、合计量导出等核心接口,优化数据获取与处理流程,提升查询效率。
b.采用分页查询+异步处理优化大数据量查询,避免单次查询数据量过大导致超时
6.权限控制与幂等机制
a.在接口层增加用户权限控制,确保不同角色只能访问其对应的履约数据,提高数据安全性
b.采用幂等锁机制,防止重复提交或异常情况导致的数据不一致问题。
7.RT与QPS优化
a.目标:RT≤1s,最大QPS30
b.采用数据库查询优化+缓存预热+异步计算等方式,提升查询效率,确保在高并发情况下的系统稳定性。
c.通过优化SQL执行计划和减少不必要的计算,降低数据库查询时间,提高系统吞吐量。
最终成果:
a.数据处理能力:支持300万+日数据量,查询性能优化50%,履约数据准确率达99.99%。
b.系统响应优化:RT由原3s降至≤1s,最大QPS提升至30,满足业务需求
c.成本节约:ADB替代ES,减少云计算成本7000元+/月,CPU资源消耗降低40%+,
案例展示 全部案例 >
梦中有梦
高级 java 工程师 · 5年经验 · 哈啰出行
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
有近5年的Java后端开发经验，主导了公司多个大型系统项目的框架搭建与整体架构设计，也是团队核心开发，为客户的大型立库项目快速上线。业务友好型程序员，负责过哈啰营销中台项目和mes项目，熟悉Spring、SpringMVC、SpringBoot，MyBatis-Plus等核心框架，了解SpringCloud&Dubbo等微服务框架，中间件擅长Redis、RocketMQ，对MySQL数据库有深入理解，擅长SQL语句的编写和调优。
项目经验
某某物流信息订单 实时数据看板
技术栈:AnalyticDB MySQL(玄武引擎)、PolrDB、DTS、阿里云C++计算引擎、SpringBoot、Redis、异步处理、权限控制
项目简介:调度履约看板原使用Elasticsearch(ES)进行查询和数据聚合,但因查询性能和成本问题,无法满足业务需求。本次
项目旨在利用阿里云DTS Data Transmission Se服务)实现DB数据同步到AnalticDB MySQL(ADB),构建更高效的实时看板,以支持业务迭代,提升查询效率,降低系统成本
关键指标:调度看板涵盖订单量、应履约量、及时率等21个核心指标,实时监控履约情况,为业务提供准确的数据支撑项目技术点和职责:
1.数据库选型:采用云原生数据仓库AnalyticDB MySQL(玄武引擎),支持每日300万+数据处理量,确保
查询性能和数据存储的稳定性。
2.计算引擎优化:利用阿里云C++计算引擎,优化索引构建与SQL查询效率,减少CPU资源消耗,
a.索引构建优化:调整索引构建的时间窗口,避免高峰期CPU负载过高,提高系统稳定性,b.异步SQL处
理:采用异步计算方式,提高大规模数据查询与计算的吞吐量,减少响应时间
3.DTS数据同步方案:
a.采用DTS (Data TransmissionService)进行数据同步,PolarDB一ADB,支持全量+增量数据同步,确
保数据的实时性和一致性。
b.创建order fetch time、order call、order cncel三张核心表,以create on字段控制生命周期,每 31天自动清理历史数据,优化存储性能。
4.指标计算与SQL优化
a.重新编写21个指标的SQL计算逻辑,包括订单量、及时率等核心数据,支持复杂的条件判断和多表关联查询。
b.通过优化索引、查询分片、分批计算,提升SQL查询效率,数据处理速度提升50%+。
c.编写代码计算揽收率、及时揽收率等业务核心指标,为策略优化提供数据支持
5.接口改造与优化:
a.重新设计查询明细、查询统计量、查询合计统计量、明细导出、合计量导出等核心接口,优化数据获取与处理流程,提升查询效率。
b.采用分页查询+异步处理优化大数据量查询,避免单次查询数据量过大导致超时
6.权限控制与幂等机制
a.在接口层增加用户权限控制,确保不同角色只能访问其对应的履约数据,提高数据安全性
b.采用幂等锁机制,防止重复提交或异常情况导致的数据不一致问题。
7.RT与QPS优化
a.目标:RT≤1s,最大QPS30
b.采用数据库查询优化+缓存预热+异步计算等方式,提升查询效率,确保在高并发情况下的系统稳定性。
c.通过优化SQL执行计划和减少不必要的计算,降低数据库查询时间,提高系统吞吐量。
最终成果:
a.数据处理能力:支持300万+日数据量,查询性能优化50%,履约数据准确率达99.99%。
b.系统响应优化:RT由原3s降至≤1s,最大QPS提升至30,满足业务需求
c.成本节约:ADB替代ES,减少云计算成本7000元+/月,CPU资源消耗降低40%+,
技术栈:AnalyticDB MySQL(玄武引擎)、PolrDB、DTS、阿里云C++计算引擎、SpringBoot、Redis、异步处理、权限控制
项目简介:调度履约看板原使用Elasticsearch(ES)进行查询和数据聚合,但因查询性能和成本问题,无法满足业务需求。本次
项目旨在利用阿里云DTS Data Transmission Se服务)实现DB数据同步到AnalticDB MySQL(ADB),构建更高效的实时看板,以支持业务迭代,提升查询效率,降低系统成本
关键指标:调度看板涵盖订单量、应履约量、及时率等21个核心指标,实时监控履约情况,为业务提供准确的数据支撑项目技术点和职责:
1.数据库选型:采用云原生数据仓库AnalyticDB MySQL(玄武引擎),支持每日300万+数据处理量,确保
查询性能和数据存储的稳定性。
2.计算引擎优化:利用阿里云C++计算引擎,优化索引构建与SQL查询效率,减少CPU资源消耗,
a.索引构建优化:调整索引构建的时间窗口,避免高峰期CPU负载过高,提高系统稳定性,b.异步SQL处
理:采用异步计算方式,提高大规模数据查询与计算的吞吐量,减少响应时间
3.DTS数据同步方案:
a.采用DTS (Data TransmissionService)进行数据同步,PolarDB一ADB,支持全量+增量数据同步,确
保数据的实时性和一致性。
b.创建order fetch time、order call、order cncel三张核心表,以create on字段控制生命周期,每 31天自动清理历史数据,优化存储性能。
4.指标计算与SQL优化
a.重新编写21个指标的SQL计算逻辑,包括订单量、及时率等核心数据,支持复杂的条件判断和多表关联查询。
b.通过优化索引、查询分片、分批计算,提升SQL查询效率,数据处理速度提升50%+。
c.编写代码计算揽收率、及时揽收率等业务核心指标,为策略优化提供数据支持
5.接口改造与优化:
a.重新设计查询明细、查询统计量、查询合计统计量、明细导出、合计量导出等核心接口,优化数据获取与处理流程,提升查询效率。
b.采用分页查询+异步处理优化大数据量查询,避免单次查询数据量过大导致超时
6.权限控制与幂等机制
a.在接口层增加用户权限控制,确保不同角色只能访问其对应的履约数据,提高数据安全性
b.采用幂等锁机制,防止重复提交或异常情况导致的数据不一致问题。
7.RT与QPS优化
a.目标:RT≤1s,最大QPS30
b.采用数据库查询优化+缓存预热+异步计算等方式,提升查询效率,确保在高并发情况下的系统稳定性。
c.通过优化SQL执行计划和减少不必要的计算,降低数据库查询时间,提高系统吞吐量。
最终成果:
a.数据处理能力:支持300万+日数据量,查询性能优化50%,履约数据准确率达99.99%。
b.系统响应优化:RT由原3s降至≤1s,最大QPS提升至30,满足业务需求
c.成本节约:ADB替代ES,减少云计算成本7000元+/月,CPU资源消耗降低40%+,
立即沟通
