KyHub是一款ETL数据集成工具。数据同步以Kafka Confluent平台为支撑,提供了常见数据源类型的数据同步服务。KyHub可设置多种同步模式的数据同步任务,并且对同步任务的健康监控和实时告警服务,解决了数据孤岛问题。
责任描述:
1. 项目的前期调研:负责对Airbyte调研,参与和Fivetran、Flink CDC、Kafka Connect等ELT产品进行优缺点的比对。
2.KyHub数据同步任务创建和执行,根据设置的不同的同步方式(标准操作、CDC)和同步模式(增量、全量、覆盖、追加等)对接Kafka Connect的不同的连接器并创建source connector和sink connector;为设置了周期性定时同步的任务设置任务定时器以完成持续的数据同步。
3.对接Kafka和KafkaConnect对数据同步任务的结果收录、健康监控、报错收集。
4.产品的测试环境搭建:Linux上安装Docker、Kafka、Kafka Connect相关组件(Debezium、Kafka-Connect-JDBC等);使用Docker-compose部署Nginx、KyHub、Airbyte、MySQL、Oracle、PostgreSQL等。
1. 负责研发中心所有技术方案、部门事务。 2. 研发规范
1. 优化数据库,对几张数据大表(亿级别)进行索引和结构优化
1.该软件由本人独自编写 2.实现功能如下: (1)两个
1.该程序由我自己独自编写 2.该程序实现的功能如下:
采集树莓派作为边缘端,整合设备数据并汇总上传至云端。 同时
主要构建基于微服务框架的采集平台,收集设备数据,通过自定义规
需求方专属客服,免费梳理匹配
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如当前档期不合,也可免费为您推荐相似案例作者