醉月竹影

1、数据仓库项目建设
●主要负责大数据中台需求任务开发，主要是终端 app上的数据计算需求
●核心数仓分层建设与业务域抽象，开发公用代码库
●大数据中台工程化建设，推进数据中台 sql化、工具化，提升程序的稳定性以及开发效率
2、大数据基础平台、大数据治理平台项目开发
●大数据通用平台产品研发，平台主要解决数据汇聚的问题，实现了多源异构数据的离线采集和实时采集到数仓中，并支持分
布式数据清洗，提供高度自由的数据清洗引擎，同时支持集群监控与管理等功能
●大数据治理平台属于大数据基础平台的上游产品，主要包括元数据、主数据、数据质量、数据标准、数据资产等更高级的数
据相关的功能模块，本产品采用模块化设计理念，提供了比较好的扩展性。
3、数据爬虫开发
●交易数据定制化数据爬取，包括买入、卖出、订单等数据
●用户品类数据爬取
●网站用户行为埋点采集