项目:大数据基础服务设施建设
项目描述:该项目主要为公司搭建大数据基础服务平台,把数据存储到Hadoop分布式文件系统上,使用Saprk或Java程序对数据进行清洗工作,并提供对数据的实时同步,备份等服务。为风控以及报告业务提供API接口。
责任描述:
使用Java对MongoDB中数据进行ETL。
实时同步MongoDB上的数据到Mysql关系型数据库。
实时同步Mysql上的数据到Mysql。
提供操作Solr以及Hbase的各种API。
使用ansible进行自动化部署。
使用docker进行一系列测试工作。