数据同步需求

项目总价 5600元
预估日薪 800/天
合作方式: 项目制
预估工时: 7天
发布位置: 广州
参与范围: 全国远程
詹杰星
詹杰星
职位ID: 159873复制

发布方信用行为

发布项目
0
订单总数
0
退款单数

需求描述

S3 存储里的文件一有变动(上传、删除、改标签),

通过 Kafka 告诉 ES 搜索引擎更新索引,让两边数据实时保持一致,同时保护好人工维护的信息不被机器覆盖。

背景:对象存储承载海量数据,上层依赖 Elasticsearch 构建元数据索引。现有 NFS/FTP/SMB 定时批量扫描链路存在 T+1 延迟、对账差异率高(0.3%~0.5%)、S3 网关周期性负载尖峰等问题,无法满足业务实时检索需求。

目标:构建事件驱动同步管道,实现 S3 对象变更(PUT/覆盖/DELETE/TAG)秒级同步至 ES,端到端延迟 P99≤5s,对账差异率≤0.001%,同时保护 Data Admin 人工维护的元数据不被回源覆盖。

技术要求:熟悉go语言、熟悉使用kafka队列、非常熟悉Elasticsearch集群;做个并发处理的场景。

数据同步需求

合作方式 项目制
预估日薪 800
预估总价 5600元
预估工时 7天
发布位置 广州
可参与范围 全国远程
职位ID 159873复制
发布方 詹杰星
詹杰星
已有83人投递 ,发布人 点此登录 后查看。

需求描述

S3 存储里的文件一有变动(上传、删除、改标签),

通过 Kafka 告诉 ES 搜索引擎更新索引,让两边数据实时保持一致,同时保护好人工维护的信息不被机器覆盖。

背景:对象存储承载海量数据,上层依赖 Elasticsearch 构建元数据索引。现有 NFS/FTP/SMB 定时批量扫描链路存在 T+1 延迟、对账差异率高(0.3%~0.5%)、S3 网关周期性负载尖峰等问题,无法满足业务实时检索需求。

目标:构建事件驱动同步管道,实现 S3 对象变更(PUT/覆盖/DELETE/TAG)秒级同步至 ES,端到端延迟 P99≤5s,对账差异率≤0.001%,同时保护 Data Admin 人工维护的元数据不被回源覆盖。

技术要求:熟悉go语言、熟悉使用kafka队列、非常熟悉Elasticsearch集群;做个并发处理的场景。

发布方信用行为

发布项目 5
订单总数 0
退款单数 0

完善简历

工程师完善技术能力和项目经验,更易接到订单

完善人才简历

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。
已有 83 人投递
登录后查看投递状态