工业质检平台数据同步

人工智能 其他 案例ID:215730
罪恶克星
3 年经验· 深圳科诗特软件公司
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

1、项目内容:该平台采用前后端分离的架构设计,数据同步部分使用 Flask 框架、Mysql 数据库和 Redis 缓存。主要模块包括数据同步模块、数据标注模块、数据质检模块、数据管理和统计模块以及数据备份模块。

2、项目难点:由于该平台属于大型项目,数据同步流程包含17个节点,整体流程复杂。解决方案是开发一套单独的流程控制服
务,用于统筹和监控数据同步流程,每个节点的开始和完成都需要上报到该服务,再由该服务进行流程状态的流转。此外,同步的
数据量达到了百万级别,对高并发要求较高。解决方案是使用 Redis 消息队列和 Celery 分布式架构。

3、项目业绩:
1. 成功将标注工作迁移到线上,显著提升了标注团队的工作效率。
2. 通过深度优化,确保了在高并发环境下,服务能够稳定运行并进行数据同步。
3. 实现了累计49个项目、15316个数据包的平台数据同步,涵盖了超过200万张图片。

工业质检平台数据同步

人工智能 · 其他 案例ID:215730
联系该工程师
微信扫码,建群沟通
作者: 罪恶克星 - 3年经验- 深圳科诗特软件公司

案例介绍

1、项目内容:该平台采用前后端分离的架构设计,数据同步部分使用 Flask 框架、Mysql 数据库和 Redis 缓存。主要模块包括数据同步模块、数据标注模块、数据质检模块、数据管理和统计模块以及数据备份模块。

2、项目难点:由于该平台属于大型项目,数据同步流程包含17个节点,整体流程复杂。解决方案是开发一套单独的流程控制服
务,用于统筹和监控数据同步流程,每个节点的开始和完成都需要上报到该服务,再由该服务进行流程状态的流转。此外,同步的
数据量达到了百万级别,对高并发要求较高。解决方案是使用 Redis 消息队列和 Celery 分布式架构。

3、项目业绩:
1. 成功将标注工作迁移到线上,显著提升了标注团队的工作效率。
2. 通过深度优化,确保了在高并发环境下,服务能够稳定运行并进行数据同步。
3. 实现了累计49个项目、15316个数据包的平台数据同步,涵盖了超过200万张图片。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×