需求描述
S3 存储里的文件一有变动(上传、删除、改标签),
通过 Kafka 告诉 ES 搜索引擎更新索引,让两边数据实时保持一致,同时保护好人工维护的信息不被机器覆盖。
背景:对象存储承载海量数据,上层依赖 Elasticsearch 构建元数据索引。现有 NFS/FTP/SMB 定时批量扫描链路存在 T+1 延迟、对账差异率高(0.3%~0.5%)、S3 网关周期性负载尖峰等问题,无法满足业务实时检索需求。
目标:构建事件驱动同步管道,实现 S3 对象变更(PUT/覆盖/DELETE/TAG)秒级同步至 ES,端到端延迟 P99≤5s,对账差异率≤0.001%,同时保护 Data Admin 人工维护的元数据不被回源覆盖。
技术要求:熟悉go语言、熟悉使用kafka队列、非常熟悉Elasticsearch集群;做个并发处理的场景。