数据同步需求

合作方式 项目制
预估日薪 800
预估总价 5600元
预估工时 7天
发布位置 广州
可参与范围 全国远程
职位ID 159873
发布方 詹杰星
詹杰星
投递职位 已有55人投递 ,发布人 点此登录 后查看。

需求描述

S3 存储里的文件一有变动(上传、删除、改标签),

通过 Kafka 告诉 ES 搜索引擎更新索引,让两边数据实时保持一致,同时保护好人工维护的信息不被机器覆盖。

背景:对象存储承载海量数据,上层依赖 Elasticsearch 构建元数据索引。现有 NFS/FTP/SMB 定时批量扫描链路存在 T+1 延迟、对账差异率高(0.3%~0.5%)、S3 网关周期性负载尖峰等问题,无法满足业务实时检索需求。

目标:构建事件驱动同步管道,实现 S3 对象变更(PUT/覆盖/DELETE/TAG)秒级同步至 ES,端到端延迟 P99≤5s,对账差异率≤0.001%,同时保护 Data Admin 人工维护的元数据不被回源覆盖。

技术要求:熟悉go语言、熟悉使用kafka队列、非常熟悉Elasticsearch集群;做个并发处理的场景。

发布方信用行为

发布项目 5
订单总数 0
退款单数 0

完善简历

工程师完善技术能力和项目经验,更易接到订单

完善人才简历

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。