量化并行计算基座

金融 股票 案例ID:244893
大厨
14 年经验· 阿里
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

两进程精简架构:Master 5 线程(Receiver/Dispatch/Monitor/Refresher/Reload)常驻调度,Worker 一次性子进程执行业务计算并直写 MySQL,去除了 PersistenceHandler/TrackWriter 等冗余中间进程,链路短、故障点少。
JSON 声明式任务注册:task_registry.json 是全局唯一路由注册表,新增一个采集任务只需添加一条 JSON 记录(定义 module_path/class_name/func_name/depends/output),零代码侵入即可扩展新业务单元。
攒批分发 + 依赖拓扑:Dispatch 线程按优先级和 batch_count 攒批填满 Worker 槽位,支持 task 间 depends 依赖解析(同日/n 日前完成),非简单 FIFO。
completed_set 单 SQL UNION ALL 优化:全量重建时用一条 UNION ALL SQL 扫描所有业务表替代逐 task 循环查询,启动速度提升一个数量级。
生产级容错:Refresher 线程每 50s 心跳刷新 completed_set + 失败任务 requeue + 过期清理,支持机器重启后自动恢复未完成任务。

量化并行计算基座

金融 · 股票 案例ID:244893
联系该工程师
微信扫码,建群沟通
作者: 大厨 - 14年经验- 阿里

案例介绍

两进程精简架构:Master 5 线程(Receiver/Dispatch/Monitor/Refresher/Reload)常驻调度,Worker 一次性子进程执行业务计算并直写 MySQL,去除了 PersistenceHandler/TrackWriter 等冗余中间进程,链路短、故障点少。
JSON 声明式任务注册:task_registry.json 是全局唯一路由注册表,新增一个采集任务只需添加一条 JSON 记录(定义 module_path/class_name/func_name/depends/output),零代码侵入即可扩展新业务单元。
攒批分发 + 依赖拓扑:Dispatch 线程按优先级和 batch_count 攒批填满 Worker 槽位,支持 task 间 depends 依赖解析(同日/n 日前完成),非简单 FIFO。
completed_set 单 SQL UNION ALL 优化:全量重建时用一条 UNION ALL SQL 扫描所有业务表替代逐 task 循环查询,启动速度提升一个数量级。
生产级容错:Refresher 线程每 50s 心跳刷新 completed_set + 失败任务 requeue + 过期清理,支持机器重启后自动恢复未完成任务。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×