匆匆
大数据开发
烽火众智 · 3年经验
日薪：
￥500/8h
地点：
武汉 全区
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
语言：java，scala
技术：hadoop，hdfs，hive，impala，hbase，kafka，spark，sparkstreaming，clickhouse，redis，elasticsearch，shell
技术：hadoop，hdfs，hive，impala，hbase，kafka，spark，sparkstreaming，clickhouse，redis，elasticsearch，shell
项目经验
一.公安大数据实战应用平台
基于大数据的公安实战应用平台以大数据为基础，以服务公安实战为宗旨，依托于公安机关掌握 的丰富信息资源，根据实战业务，重点围绕维稳处突、打击犯罪、治安治理三项任务，紧紧抓住 指挥处置、侦查办案、巡逻防控等环节，着力打造实用的业务化平台。 我负责的工作内容：
1.底层数据接入
2.实时布控预警
3.主题库建设
4.时空轨迹分析
5. 数据碰撞
6. 同行分析
二.手游数据分析平台
随着游戏玩家的不断增加，游戏玩家的操作日志每天都是TB级别的数据量，使用常规的数据处理 方式比较困难。公司开始引入大数据分析处理游戏日志以提升玩家游戏体验，留存以及付费等。 我负责的工作内容：
1.初期的大数据平台搭建以及维护
2.清洗过滤加工游戏日志数据到大数据平台，需要离线的写入hive，实时的写入clickhouse/hbas e/kafka 做实时分析查询。
3.引入clickhouse 列式存储数据库，处理即时查询业务
4.使用hive，spark sql处理报表数据
5.提供数据查询接口
基于大数据的公安实战应用平台以大数据为基础，以服务公安实战为宗旨，依托于公安机关掌握 的丰富信息资源，根据实战业务，重点围绕维稳处突、打击犯罪、治安治理三项任务，紧紧抓住 指挥处置、侦查办案、巡逻防控等环节，着力打造实用的业务化平台。 我负责的工作内容：
1.底层数据接入
2.实时布控预警
3.主题库建设
4.时空轨迹分析
5. 数据碰撞
6. 同行分析
二.手游数据分析平台
随着游戏玩家的不断增加，游戏玩家的操作日志每天都是TB级别的数据量，使用常规的数据处理 方式比较困难。公司开始引入大数据分析处理游戏日志以提升玩家游戏体验，留存以及付费等。 我负责的工作内容：
1.初期的大数据平台搭建以及维护
2.清洗过滤加工游戏日志数据到大数据平台，需要离线的写入hive，实时的写入clickhouse/hbas e/kafka 做实时分析查询。
3.引入clickhouse 列式存储数据库，处理即时查询业务
4.使用hive，spark sql处理报表数据
5.提供数据查询接口
匆匆
大数据开发 · 3年经验 · 烽火众智
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
语言：java，scala
技术：hadoop，hdfs，hive，impala，hbase，kafka，spark，sparkstreaming，clickhouse，redis，elasticsearch，shell
技术：hadoop，hdfs，hive，impala，hbase，kafka，spark，sparkstreaming，clickhouse，redis，elasticsearch，shell
项目经验
一.公安大数据实战应用平台
基于大数据的公安实战应用平台以大数据为基础，以服务公安实战为宗旨，依托于公安机关掌握 的丰富信息资源，根据实战业务，重点围绕维稳处突、打击犯罪、治安治理三项任务，紧紧抓住 指挥处置、侦查办案、巡逻防控等环节，着力打造实用的业务化平台。 我负责的工作内容：
1.底层数据接入
2.实时布控预警
3.主题库建设
4.时空轨迹分析
5. 数据碰撞
6. 同行分析
二.手游数据分析平台
随着游戏玩家的不断增加，游戏玩家的操作日志每天都是TB级别的数据量，使用常规的数据处理 方式比较困难。公司开始引入大数据分析处理游戏日志以提升玩家游戏体验，留存以及付费等。 我负责的工作内容：
1.初期的大数据平台搭建以及维护
2.清洗过滤加工游戏日志数据到大数据平台，需要离线的写入hive，实时的写入clickhouse/hbas e/kafka 做实时分析查询。
3.引入clickhouse 列式存储数据库，处理即时查询业务
4.使用hive，spark sql处理报表数据
5.提供数据查询接口
基于大数据的公安实战应用平台以大数据为基础，以服务公安实战为宗旨，依托于公安机关掌握 的丰富信息资源，根据实战业务，重点围绕维稳处突、打击犯罪、治安治理三项任务，紧紧抓住 指挥处置、侦查办案、巡逻防控等环节，着力打造实用的业务化平台。 我负责的工作内容：
1.底层数据接入
2.实时布控预警
3.主题库建设
4.时空轨迹分析
5. 数据碰撞
6. 同行分析
二.手游数据分析平台
随着游戏玩家的不断增加，游戏玩家的操作日志每天都是TB级别的数据量，使用常规的数据处理 方式比较困难。公司开始引入大数据分析处理游戏日志以提升玩家游戏体验，留存以及付费等。 我负责的工作内容：
1.初期的大数据平台搭建以及维护
2.清洗过滤加工游戏日志数据到大数据平台，需要离线的写入hive，实时的写入clickhouse/hbas e/kafka 做实时分析查询。
3.引入clickhouse 列式存储数据库，处理即时查询业务
4.使用hive，spark sql处理报表数据
5.提供数据查询接口
立即沟通
