项目角色:核心开发 技术栈:Go、MySQL、Redis、Worker Pool
项目介绍:基于 Go 构建的分布式异步任务调度框架,面向代码门禁、审批、数据预处理等多阶段耗时任务场景,提供任务自动编排、动态注册、智能重试、上下文保存及横向扩容能力,减少业务重复建设和人工轮询成本。
个人职责:
分层架构设计:采用 FlowServer-Worker 双模块架构,FlowServer 通过 RESTful API 提供任务创建、查询及生命周期管理,Worker 基于自适应拉取模型完成任务消费与执行,并支持多实例横向扩容。
轻量化数据建模:设计任务元数据表、策略配置表与分表状态追踪表,解耦任务定义、调度策略和运行状态,支持任务动态注册、状态流转及配置化重试。
动态分表策略:设计基于任务数据量的滚动分表机制,新任务写入热表、存量任务继续从旧表调度直至完成,并结合冷热数据分离处理历史任务归档。
分布式协调改造:将多实例任务竞争由 MySQL 行级锁演进为 Redis 分布式锁,在保证同一任务互斥执行的同时,降低高竞争场景下数据库锁等待和 CPU 波动。
难点亮点:
高并发性能优化:通过压测定位连接池配置和高频查询瓶颈,引入连接池参数调优与 Redis 旁路缓存,将接口 QPS 从约 800 提升至约 2000。
异构滚动分表:突破通用分库分表组件按固定键路由的限制,按任务数据量动态创建热表并逐步归档冷表,兼顾在线调度连续性与历史数据管理。
多机竞争治理:针对数据库行锁在激烈竞争下带来的性能波动,引入 Redis 分布式锁收敛任务争抢。
多维排序策略:抽象 order_time 排序字段,综合任务更新时间、业务优先级和失败次数计算调度顺序,避免 Worker 查询规则与多个业务字段强耦合。