和

大数据开发工程师
*** · 4年经验
和
日薪: ¥500/8h
地点: 北京 昌平
时间: 下班后
ID:230773 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Kafka Java Hadoop Spark Hive
掌握语言:
java、
scala、
sql、sql编写、优化
掌握软件:
hadoop、掌握mapreduce流程,
kafka、
hive、
spark、sparkcore、sparksql 、sparksteaming

**教育平台意向用户看板数据分析项目
项目需求:
1、统计期内,访客咨询产生的有效线索的占比。有效线索量 / 咨询量。
2、统计期内,1-24h之间,每个时间段的有效线索转化率。
3、....
Myaql、Hive
数据结构:
编写有效线索指标的DWD SQL
编写有效线索指标的DWM SQL
编写有效线索指标的DWS SQL
部分代码:
DWS层:
CREATE TABLE IF NOT EXISTS itcast_dws.itcast_clue_dws (
`clue_nums` INT COMMENT '根据id聚合',
`origin_type_stat` STRING COMMENT '数据来源:0.线下;1.线上',
`for_new_user` STRING COMMENT '0:未知;1:新客户线索;2:旧客户线索',
`hourinfo` STRING COMMENT '小时信息',
`dayinfo`STRING COMMENT '天信息',
`monthinfo` STRING COMMENT '月信息',
`time_type` STRING COMMENT '聚合时间类型:1、按小时聚合;2、按天聚合;3、按周聚合;4、按月聚合;5、按年聚合;',
`time_str` STRING COMMENT '时间明细'
)
comment '客户申诉app表'
PARTITIONED BY(yearinfo STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
stored as orcfile
TBLPROPERTIES ('orc.compress'='SNAPPY');
sqoop代码:
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/scrm \
--username root \
--password 123456 \
--query 'select `id`,`customer_relationship_first_id`,`employee_id`,`employee_name`,`employee_department_id`,`employee_tdepart_id`,`appeal_status`,`audit_id`,`audit_name`,`audit_department_id`,`audit_department_name`,`audit_date_time`,`create_date_time`,`update_date_time`,`deleted`,`tenant`,DATE_SUB(curdate(),INTERVAL 1 DAY) as start_time from customer_appeal where $CONDITIONS' \
--hcatalog-database itcast_ods \
--hcatalog-table customer_appeal \
-m 100 \
--split-by id
和 ID:230773 复制

和

大数据开发工程师 · 4年经验 · ***
城市北京 昌平 日薪500元/8h 时间 下班后
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Kafka Java Hadoop Spark Hive
掌握语言:
java、
scala、
sql、sql编写、优化
掌握软件:
hadoop、掌握mapreduce流程,
kafka、
hive、
spark、sparkcore、sparksql 、sparksteaming

项目经验

**教育平台意向用户看板数据分析项目
项目需求:
1、统计期内,访客咨询产生的有效线索的占比。有效线索量 / 咨询量。
2、统计期内,1-24h之间,每个时间段的有效线索转化率。
3、....
Myaql、Hive
数据结构:
编写有效线索指标的DWD SQL
编写有效线索指标的DWM SQL
编写有效线索指标的DWS SQL
部分代码:
DWS层:
CREATE TABLE IF NOT EXISTS itcast_dws.itcast_clue_dws (
`clue_nums` INT COMMENT '根据id聚合',
`origin_type_stat` STRING COMMENT '数据来源:0.线下;1.线上',
`for_new_user` STRING COMMENT '0:未知;1:新客户线索;2:旧客户线索',
`hourinfo` STRING COMMENT '小时信息',
`dayinfo`STRING COMMENT '天信息',
`monthinfo` STRING COMMENT '月信息',
`time_type` STRING COMMENT '聚合时间类型:1、按小时聚合;2、按天聚合;3、按周聚合;4、按月聚合;5、按年聚合;',
`time_str` STRING COMMENT '时间明细'
)
comment '客户申诉app表'
PARTITIONED BY(yearinfo STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
stored as orcfile
TBLPROPERTIES ('orc.compress'='SNAPPY');
sqoop代码:
sqoop import \
--connect jdbc:mysql://192.168.52.150:3306/scrm \
--username root \
--password 123456 \
--query 'select `id`,`customer_relationship_first_id`,`employee_id`,`employee_name`,`employee_department_id`,`employee_tdepart_id`,`appeal_status`,`audit_id`,`audit_name`,`audit_department_id`,`audit_department_name`,`audit_date_time`,`create_date_time`,`update_date_time`,`deleted`,`tenant`,DATE_SUB(curdate(),INTERVAL 1 DAY) as start_time from customer_appeal where $CONDITIONS' \
--hcatalog-database itcast_ods \
--hcatalog-table customer_appeal \
-m 100 \
--split-by id
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏