少帅
中级大数据工程师
TCL实业有限公司 · 5年经验
日薪：
￥1100/8h
地点：
深圳 宝安
时间：
可工作日驻场（自由职业原因）
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
参与大数据平台的搭建、数仓搭建、数据开发、存储过程、数据清洗、数据可视化开发；大数据组件：Hadoop + Hvie + Spark
+ Flink + Kettle + Spooq + Flume + Kafka + Rundeck + Redshift + PostgreSQL + Hbase。
+ Flink + Kettle + Spooq + Flume + Kafka + Rundeck + Redshift + PostgreSQL + Hbase。
项目经验
IoT产业-空调 数据开发
项目架构：
● 采用Hodoop + Hive + SparkSQL + Flume + Kafka + Kettle + Redshift + PostgreSQL
项目描述：
该项目与公司的IoT产业空调系统结合，开发基于大数据的大屏、报表展示，项目使用了Hive、
SparkSQL技术，结合Hadoop、Flume、Kafka、Kettle等大数据组件，完成了基于Hive的离线数仓开发。
项目职责：
● 参与需求评审，了解业务需求；
● 根据需求进行数据探查摸底；
● 使用Kettle采集Mysql业务数据库数据到Hdfs中；
● 基于Hive离线数仓开发，离线数仓分层为：ODS、DL、DW、DWS、ADS层，对ODS层数据进
行清洗、脱敏；以及对DW层事实表进行聚合计算，完成设备新增、累计、活跃、设备转化率、TopN等指标的开发以及相应的存过过程；
● AIoTEdit和Hvie整合实现即席查询；
● 使用Rundeck进行Hive离线数仓定时任务的调度。
项目架构：
● 采用Hodoop + Hive + SparkSQL + Flume + Kafka + Kettle + Redshift + PostgreSQL
项目描述：
该项目与公司的IoT产业空调系统结合，开发基于大数据的大屏、报表展示，项目使用了Hive、
SparkSQL技术，结合Hadoop、Flume、Kafka、Kettle等大数据组件，完成了基于Hive的离线数仓开发。
项目职责：
● 参与需求评审，了解业务需求；
● 根据需求进行数据探查摸底；
● 使用Kettle采集Mysql业务数据库数据到Hdfs中；
● 基于Hive离线数仓开发，离线数仓分层为：ODS、DL、DW、DWS、ADS层，对ODS层数据进
行清洗、脱敏；以及对DW层事实表进行聚合计算，完成设备新增、累计、活跃、设备转化率、TopN等指标的开发以及相应的存过过程；
● AIoTEdit和Hvie整合实现即席查询；
● 使用Rundeck进行Hive离线数仓定时任务的调度。
少帅
中级大数据工程师 · 5年经验 · TCL实业有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
参与大数据平台的搭建、数仓搭建、数据开发、存储过程、数据清洗、数据可视化开发；大数据组件：Hadoop + Hvie + Spark
+ Flink + Kettle + Spooq + Flume + Kafka + Rundeck + Redshift + PostgreSQL + Hbase。
+ Flink + Kettle + Spooq + Flume + Kafka + Rundeck + Redshift + PostgreSQL + Hbase。
项目经验
IoT产业-空调 数据开发
项目架构：
● 采用Hodoop + Hive + SparkSQL + Flume + Kafka + Kettle + Redshift + PostgreSQL
项目描述：
该项目与公司的IoT产业空调系统结合，开发基于大数据的大屏、报表展示，项目使用了Hive、
SparkSQL技术，结合Hadoop、Flume、Kafka、Kettle等大数据组件，完成了基于Hive的离线数仓开发。
项目职责：
● 参与需求评审，了解业务需求；
● 根据需求进行数据探查摸底；
● 使用Kettle采集Mysql业务数据库数据到Hdfs中；
● 基于Hive离线数仓开发，离线数仓分层为：ODS、DL、DW、DWS、ADS层，对ODS层数据进
行清洗、脱敏；以及对DW层事实表进行聚合计算，完成设备新增、累计、活跃、设备转化率、TopN等指标的开发以及相应的存过过程；
● AIoTEdit和Hvie整合实现即席查询；
● 使用Rundeck进行Hive离线数仓定时任务的调度。
项目架构：
● 采用Hodoop + Hive + SparkSQL + Flume + Kafka + Kettle + Redshift + PostgreSQL
项目描述：
该项目与公司的IoT产业空调系统结合，开发基于大数据的大屏、报表展示，项目使用了Hive、
SparkSQL技术，结合Hadoop、Flume、Kafka、Kettle等大数据组件，完成了基于Hive的离线数仓开发。
项目职责：
● 参与需求评审，了解业务需求；
● 根据需求进行数据探查摸底；
● 使用Kettle采集Mysql业务数据库数据到Hdfs中；
● 基于Hive离线数仓开发，离线数仓分层为：ODS、DL、DW、DWS、ADS层，对ODS层数据进
行清洗、脱敏；以及对DW层事实表进行聚合计算，完成设备新增、累计、活跃、设备转化率、TopN等指标的开发以及相应的存过过程；
● AIoTEdit和Hvie整合实现即席查询；
● 使用Rundeck进行Hive离线数仓定时任务的调度。
立即沟通
