Petterจุ๊บ

高级大数据开发工程师

金恪集团 · 3年经验

日薪：￥800/8h

地点：北京丰台

时间：可工作日驻场（自由职业原因）

ID:200360 复制

信用行为

接单数

评价数

收藏数

技术能力

AI 技能提取 | 分布式 Spark Java Flink MySQL Redis Hadoop HBase Hive ZooKeeper Linux

◆ 熟悉分布式内存计算框架Spark,熟悉SparkSQL，熟练运用RDD常用算子等常用操作，有较丰富的Spark项目经验，阅读过少量源码。
◆ 熟悉实时计算Flink常用操作，熟悉Flink代码编写。
◆ 熟悉Hadoop生态圈，掌握HDFS，MapReduce，Hive，Zookeeper，Flume，sqoop等组件均有实际应用。
◆ 熟悉Java编程语言，熟悉Scala常用语法。
◆ 熟悉实时、离线数据同步技术。
◆ 熟悉ETL业务和抽取流程，业务数据分层。
◆ 熟悉Linux常用命令，熟悉常用开发环境，熟悉shell脚本编写。
◆ 熟悉关系型数据库MySQL,熟悉常用SQL函数，熟悉NoSql数据库Hbase ,Redis。
◆ 熟悉CDH搭建、操作、基本维护。

展开全部技术能力

项目经验

厦门国际银行商户贷大数据开发工程师
项目描述：在银行金融平台，有巨大的客户量分布在农业、房地产、二手车、餐饮、医疗等行业，对于上下游的资金链条需求很大。商户贷以风控、大数据、AI对贷款用户做画像、信用评估、申请额度、可用额度做智能评估，把坏账率降到最低。
主要技术为：ETL + HDFS + Spark + Mysql + Shell + HBASE
主要职责：
◆ 调用银行互金webservice接口获取人行征信数据
◆ 人行征信数据解析、模型入参指标计算，存储
◆ 授信申请用户画像标签聚合，画像数据接口开发
◆ 模型规则配置发布
◆ CDH集群搭建
行圆生态流量用户画像、车型画像大数据开发工程师
项目描述：行圆汽车分别为汽车企业及汽车经销商提供汽车车源批发服务，汽车互联网营销服务，经销商互联网运营服务。对接多个第三方合作伙伴。根据URL判断用户来源，去向及用户在官网浏览动作做出流量画像。
主要技术为：SparkStreaming+ HDFS + HBase + Hive + Spark MLlib(ALS)
主要职责：
◆ 分析业务需求，调研车型互联网用户画像指标流程，自定义规范格式;
◆ 代码编写，测试文档编写更新;
◆ 用户画像：用户CookieId,用户初次访问时间，末次访问时间（动态更新），平均停留时长等编写;
◆ 车型画像：用户Cookieid，热门品牌（在规定时间内该用户浏览最多的品牌），热门车型（在规定时间内返回浏览次数车型的车款），平均价格区间等编写;
◆ 基于用户行为做车型推荐编写;

展开全部项目经验