大数据治理产品-阿白外包案例-猿急送

大数据治理产品

企业服务 · 数据服务案例ID: 147176

微信扫码，建群沟通

作者：阿白 - 7年经验- 上海德拓信息技术股份有限公司

案例介绍

1.后端go语言开发
2.负责公司的平台管理模块，用户管理，代码集模块，数据地图模块
3.主要负责接口的编写，实现所需要的功能。
4. 接口实现功能大部分是与elasticsearch(是一个实时分布式搜索和分析引擎)做交互。
5. 用户管理模块主要负责ds平台的用户管理、角色权限管理。
6. 平台管理模块主要管理各个引擎的状态以及所在主机节点各个模块程序运行状态和主机节点的状态
7. 代码集模块，主要制定代码集标准用来服务数据治理模块对数据进行抽取。
8. 数据地图模块主要将各个模块的数据汇总到数据地图模块，起到一个总览的效果。
9. 利用datax将pgsql和MySQL的数据抽取到hive数据库上面。
10. 编写接口对于有问题数据的处理。