KyHub是一款ETL数据集成工具。数据同步以Kafka Confluent平台为支撑,提供了常见数据源类型的数据同步服务。KyHub可设置多种同步模式的数据同步任务,并且对同步任务的健康监控和实时告警服务,解决了数据孤岛问题。 责任描述: 1. 项目的前期调研:负责对Airbyte调研,参与和Fivetran、Flink CDC、Kafka Connect等ELT产品进行优缺点的比对。 2.KyHub数据同步任务创建和执行,根据设置的不同的同步方式(标准操作、CDC)和同步模式(增量、全量、覆盖、追加等)对接Kafka Connect的不同的连接器并创建source connect
IDaaS提供账号管理、身份认证、授权管理、应用管理、数据权限管理、审计管理服务。身份认证和授权使用了OAuth2、Spring Security的认证授权框架为用户提供认证和应用授权服务;账号管理方面添加了用户和组织的扩展属性设置使其更具有灵活性;提供了用户和用户组的数据权限管理设置,其他应用可以根据此设置实现不同账号的应用数据隔离服务。 责任描述: 1.用户账号管理的基本操作以及用户扩展属性的设计。 2.数据权限管理:设置用户的应用数据隔离设计与功能实现。 3.审计管理:记录用户行为和用户操作。 4.配置Jenkins完成IDaaS在各项目上的Docker镜像部署。 5.产品
KyHub是一款ETL数据集成工具。数据同步以Kafka Confluent平台为支撑,提供了常见数据源类型的数据同步服务。KyHub可设置多种同步模式的数据同步任务,并且对同步任务的健康监控和实时告警服务,解决了数据孤岛问题。 责任描述: 1. 项目的前期调研:负责对Airbyte调研,参与和Fivetran、Flink CDC、Kafka Connect等ELT产品进行优缺点的比对。 2.KyHub数据同步任务创建和执行,根据设置的不同的同步方式(标准操作、CDC)和同步模式(增量、全量、覆盖、追加等)对接Kafka Connect的不同的连接器并创建source connect...
IDaaS提供账号管理、身份认证、授权管理、应用管理、数据权限管理、审计管理服务。身份认证和授权使用了OAuth2、Spring Security的认证授权框架为用户提供认证和应用授权服务;账号管理方面添加了用户和组织的扩展属性设置使其更具有灵活性;提供了用户和用户组的数据权限管理设置,其他应用可以根据此设置实现不同账号的应用数据隔离服务。 责任描述: 1.用户账号管理的基本操作以及用户扩展属性的设计。 2.数据权限管理:设置用户的应用数据隔离设计与功能实现。 3.审计管理:记录用户行为和用户操作。 4.配置Jenkins完成IDaaS在各项目上的Docker镜像部署。 5.产品...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人