FLink实时数仓开发

企业服务 数据服务 案例ID：227023
root
1 年经验· 普强信息技术（北京）有限公司
微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

项目介绍：招标数据清洗、GPS数据清洗、基于APP埋点日志和业务数据构建用户画像进行招标文件推荐、匠人推荐
1. 招标数据清洗部分
(1). 爬虫系统爬取招标、中标、拟建数据写入Kafka
(2). Flink消费kafka数据进行清洗，Maxwell 同步业务数据与之关联存储hive中
(3). Presto 进行数据查询hive数据展现到APP中
2. GPS数据清洗运用
(1). kafka接收工程车辆安装的GPS传输的数据
(2). 使用Flink清洗GPS数据(GPS数据分段、GPS轨迹漂移、使用基站信息解决GPS数据坐标为0的问题)，数据清洗后存储到clickhouse中
(3).查询clickhouse中数据做GPS分段数据、GPS分段轨迹、GPS自定义轨迹对外提供服务
(4). Flink CEP 对超速、驶入驶出电子围栏进行短信报警
3. 招标推荐、工人推荐
(1). 对APP埋点日志进行清洗存储到数仓中
(2). 埋点数据和业务数据进行关联构建用户画像
(3). 基于用户画像对招标文件和匠人进行推荐

案例图片

共 2 张
FLink实时数仓开发 FLink实时数仓开发
查看该工程师的更多案例 >

相似案例推荐

田长制系统
田长制系统
“济阳区田长制系统”是一套针对田间地块管理的数字化解决方案，
某搜索引擎爬虫
某搜索引擎爬虫
使用模拟技术、模仿用户访问网页，爬取数据。 利用模型进
apache-seata
apache-seata
Apache/incubator-seata（简称Seata
一体化大数据平台
一体化大数据平台
项目名称：一体化大数据平台 项目描述：主要为政府服务的一体
商户管理系统
商户管理系统
1.项目使用Vue2+VueRouter+axios+Vue
学生成绩管理终端
学生成绩管理终端
基于C++开发的控制台应用，实现学生成绩全生命周期管理。技术

FLink实时数仓开发

企业服务 · 数据服务 案例ID：227023
联系该工程师
微信扫码，建群沟通
作者： root - 1年经验- 普强信息技术（北京）有限公司

案例介绍

项目介绍：招标数据清洗、GPS数据清洗、基于APP埋点日志和业务数据构建用户画像进行招标文件推荐、匠人推荐
1. 招标数据清洗部分
(1). 爬虫系统爬取招标、中标、拟建数据写入Kafka
(2). Flink消费kafka数据进行清洗，Maxwell 同步业务数据与之关联存储hive中
(3). Presto 进行数据查询hive数据展现到APP中
2. GPS数据清洗运用
(1). kafka接收工程车辆安装的GPS传输的数据
(2). 使用Flink清洗GPS数据(GPS数据分段、GPS轨迹漂移、使用基站信息解决GPS数据坐标为0的问题)，数据清洗后存储到clickhouse中
(3).查询clickhouse中数据做GPS分段数据、GPS分段轨迹、GPS自定义轨迹对外提供服务
(4). Flink CEP 对超速、驶入驶出电子围栏进行短信报警
3. 招标推荐、工人推荐
(1). 对APP埋点日志进行清洗存储到数仓中
(2). 埋点数据和业务数据进行关联构建用户画像
(3). 基于用户画像对招标文件和匠人进行推荐

案例图片

FLink实时数仓开发

FLink实时数仓开发

查看该工程师的更多案例

相似案例推荐

发布任务

企业点击发布任务，工程师会在任务下报名，招聘专员也会在 1 小时内与您联系确认。
点击发布任务

1小时精推人才

需求方专属客服，免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了？客服帮你 1 小时对接沟通 → ×