项目介绍:招标数据清洗、GPS数据清洗、基于APP埋点日志和业务数据构建用户画像进行招标文件推荐、匠人推荐 1. 招标数据清洗部分 (1). 爬虫系统爬取招标、中标、拟建数据写入Kafka (2). Flink消费kafka数据进行清洗,Maxwell 同步业务数据与之关联存储hive中 (3). Presto 进行数据查询hive数据展现到APP中 2. GPS数据清洗运用 (1). kafka接收工程车辆安装的GPS传输的数据 (2). 使用Flink清洗GPS数据(GPS数据分段、GPS轨迹漂移、使用基站信息解决GPS数据坐标为0的问题),数
项目介绍:对用户行为、业务操作进行统计分析、数据挖掘构建用户画像、实现千人千面个性化推荐系统 1. 数据仓库建设 介绍:作为数据的管理和运算中心,为用户画像、推荐系统提供基础数据服务 (1)、数据仓库建模分层设计 (2)、数据清洗(清洗过滤、数据解析、数据集成、数据修正、数据进屏蔽) (3)、使用Spark GraphX 实现ID Mapping (4)、构建数据立方体、用户报表、路径分析、转换分析、流量分析等报表开发 (5)、采用Atlas进行数据治理 (6)、基于Hive的查询优化 (7)、对数据质量进行一致性、完整性、准确性监控处理。 2. 用户画像构建 介绍:以用
项目介绍:招标数据清洗、GPS数据清洗、基于APP埋点日志和业务数据构建用户画像进行招标文件推荐、匠人推荐 1. 招标数据清洗部分 (1). 爬虫系统爬取招标、中标、拟建数据写入Kafka (2). Flink消费kafka数据进行清洗,Maxwell 同步业务数据与之关联存储hive中 (3). Presto 进行数据查询hive数据展现到APP中 2. GPS数据清洗运用 (1). kafka接收工程车辆安装的GPS传输的数据 (2). 使用Flink清洗GPS数据(GPS数据分段、GPS轨迹漂移、使用基站信息解决GPS数据坐标为0的问题),数...
项目介绍:对用户行为、业务操作进行统计分析、数据挖掘构建用户画像、实现千人千面个性化推荐系统 1. 数据仓库建设 介绍:作为数据的管理和运算中心,为用户画像、推荐系统提供基础数据服务 (1)、数据仓库建模分层设计 (2)、数据清洗(清洗过滤、数据解析、数据集成、数据修正、数据进屏蔽) (3)、使用Spark GraphX 实现ID Mapping (4)、构建数据立方体、用户报表、路径分析、转换分析、流量分析等报表开发 (5)、采用Atlas进行数据治理 (6)、基于Hive的查询优化 (7)、对数据质量进行一致性、完整性、准确性监控处理。 2. 用户画像构建 介绍:以用...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人