KyHub

企业服务 数据服务 案例ID:186934
TSFH
4 年经验· 上海数离科技有限公司
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

KyHub是一款ETL数据集成工具。数据同步以Kafka Confluent平台为支撑,提供了常见数据源类型的数据同步服务。KyHub可设置多种同步模式的数据同步任务,并且对同步任务的健康监控和实时告警服务,解决了数据孤岛问题。
责任描述:
1. 项目的前期调研:负责对Airbyte调研,参与和Fivetran、Flink CDC、Kafka Connect等ELT产品进行优缺点的比对。
2.KyHub数据同步任务创建和执行,根据设置的不同的同步方式(标准操作、CDC)和同步模式(增量、全量、覆盖、追加等)对接Kafka Connect的不同的连接器并创建source connector和sink connector;为设置了周期性定时同步的任务设置任务定时器以完成持续的数据同步。
3.对接Kafka和KafkaConnect对数据同步任务的结果收录、健康监控、报错收集。
4.产品的测试环境搭建:Linux上安装Docker、Kafka、Kafka Connect相关组件(Debezium、Kafka-Connect-JDBC等);使用Docker-compose部署Nginx、KyHub、Airbyte、MySQL、Oracle、PostgreSQL等。

KyHub

企业服务 · 数据服务 案例ID:186934
联系该工程师
微信扫码,建群沟通
作者: TSFH - 4年经验- 上海数离科技有限公司

案例介绍

KyHub是一款ETL数据集成工具。数据同步以Kafka Confluent平台为支撑,提供了常见数据源类型的数据同步服务。KyHub可设置多种同步模式的数据同步任务,并且对同步任务的健康监控和实时告警服务,解决了数据孤岛问题。
责任描述:
1. 项目的前期调研:负责对Airbyte调研,参与和Fivetran、Flink CDC、Kafka Connect等ELT产品进行优缺点的比对。
2.KyHub数据同步任务创建和执行,根据设置的不同的同步方式(标准操作、CDC)和同步模式(增量、全量、覆盖、追加等)对接Kafka Connect的不同的连接器并创建source connector和sink connector;为设置了周期性定时同步的任务设置任务定时器以完成持续的数据同步。
3.对接Kafka和KafkaConnect对数据同步任务的结果收录、健康监控、报错收集。
4.产品的测试环境搭建:Linux上安装Docker、Kafka、Kafka Connect相关组件(Debezium、Kafka-Connect-JDBC等);使用Docker-compose部署Nginx、KyHub、Airbyte、MySQL、Oracle、PostgreSQL等。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×