派单工程
负责平台整体派单工程开发设计与重构工作,把订单派给最合适的阿姨,针对不同的策略制定不同的计划进行派单。并且对派单工程进行重构,使用策略、模版等设计模式。
项目技术选型:
spring、spring-boot、redis、kafka
项目一: connector
Connector-db2 Connector-sqlserver Connector-es
整体项目技术选型:
springboot+mybatis + spark+ElasticSearch+db2+sqlserver 责任:
编写db2、es、sqlserver对应的connector。connector有很多种类,分别去连接不同的数据源, structs和non-structs类型的,例如mysql,orcal,db2,sqlserver,kafka,es,redis等等。承载 data项目组的中游操作,负责获取数据信息,完成pipeline的第一步,提供classfre需求的数据,最终获 取数据源的敏感信息。
connector主要有三个功能
fetch 查找出来不同数据源的datastore、List、dataset、column等。 sampling 根据传入的参数查找对应表的数据。 测试数据库连接并保存。
亮点:
根据es的特性兼容了所有版本,es升级后不需要修改代码 兼容了https和http 的es连接集群。 根据不同的场景使用了es的scroll 和 search_after两种search API