猿急送>

深圳其它兼职程序员

ID：315165

呆子

大数据开发经理

公司信息：
拉卡拉

工作经验：
11年

兼职日薪：
1000元/8小时

兼职时间：
下班后
周六
周日
可工作日远程
可工作日驻场（离职原因）
可工作日驻场（自由职业原因）

所在区域：
深圳
龙岗

技术能力

Java,scala 熟练
hadoop(hdfs，hudi,flink,spark,neo4j,kudu,storm,hbase,yarn,sqoop,hive,zookeeper,kafka,flume,oozie,kettle,phoenix,ambari,cdh,tensorflow) 熟练
MySql，Oracle，DB2 熟练
linux，shell 熟练
easyUi,jquery,javascript,html,css 熟练
spring,struts,hibernate,dubbo 熟练
python 熟练

项目经验

◆ 2021.03 - 至今  实时财务重构指标计算系统
◆ 1.项目概况
实时财务重构指标计算系统是为亚马逊卖家提供商品，店铺实时日表和月表财务指标的实时数仓系统，经历了多个版本的迭代，从一开始的一小时延迟优化到现在的十分钟延迟。
该系统集数据采集，数据清洗与处理，数据挖掘，数据展示为一体，分为批处理和流处理两部分。
该项目包含4个分层：
a.ods层（canal+sparkStreaming+hudi(实时,sqoop（离线））
b.dwd层（sparkStreaming+hudi）
c.dws层（sparkStreaming+hudi,flink+hudi）
d.ads层（sparkStreaming+hudi+mysql）
◆ 2.我的责任
大数据平台架构设计、aws大数据平台组件兼容性测试、hudi源码改造、各个模块的通用性模块开发、帮助项目组成员提供开发方案和解决技术性问题、负责开发人员的代码检查工作，提供指导开发任务性能优化

◆ 2018.10 - 2021.01  用户行为分析系统
◆ 1.项目概况
用户行为分析系统是为拉卡拉易分期反欺诈提供大数据风控支持的系统，使得公司能够更好的获取用户，维护用户，建立用户画像进行用户分析，数据挖掘等功能。
该系统集数据采集，数据清洗与处理，数据挖掘，数据展示为一体，分为离线和实时两部分。
该项目包含4个子系统：
a.实时数据处理系统（sparkStreaming+kafka+kudu+impala）
b.大数据平台查询系统（dubbo+spring）
c.机器学习与数据挖掘系统（spark ml+python）
d.用户行为web系统（node.js+vue）
◆ 2.我的责任
大数据平台架构设计、cdh大数据平台环境搭建、spark,kudu数据处理统计、实时模型接口开发、参与各个模块的通用性模块开发、帮助项目组成员提供开发方案和解决技术性问题、负责开发人员的代码检查工作，提供指导开发任务性能优化

◆ 2020.03 - 2020.07  实时数仓平台
◆ 1.项目概况
实时数仓平台实现数据实时导入hive,并实现hive,kafka,mysql,neo4j等流式处理功能，以提供给业务实时计算指标，实时分析等功能
该系统集实时数据获取，数据清洗与处理，数据挖掘，数据展示为一体，分为离线和实时两部分。
该项目包含2个子系统：
a.基于flink和hive的实时数仓（flink+hive）
b.实时数仓web界面（node.js+vue)
◆ 2.我的责任
基础架构设计、flink+hive整合实时数仓、源码改造flink-sql支持neo4j图数据库、帮助项目组成员提供开发方案和解决技术性问题、负责开发人员的代码检查工作，提供指导开发任务性能优化

◆ 2018.10 - 2020.08  知识图谱反欺诈系统
◆ 1.项目概况
知识图谱反欺诈系统是为拉卡拉易分期反欺诈提供大数据风控支持的贷款申请订单评分系统，使得公司能够更好的对用户的贷款申请订单进行欺诈评分，降低贷款订单的坏账风险。
该系统集实时数据获取，数据清洗与处理，数据挖掘，数据展示为一体，分为离线和实时两部分。
该项目包含4个子系统：
a.实时数据处理系统（flink+kafka+neo4j+sqllite+mysql）
b.大数据平台查询系统（dubbo+spring）
c.机器学习与数据挖掘系统（spark ml+python）
d.天穹反欺诈web评分系统（node.js+vue）
◆ 2.我的责任
大数据平台架构设计、cdh大数据平台环境搭建、flink,neo4j数据处理统计、实时模型接口开发、参与各个模块的通用性模块开发、帮助项目组成员提供开发方案和解决技术性问题、负责开发人员的代码检查工作，提供指导开发任务性能优化
◆ 2017.07 - 2018.09  恒信大数据平台
◆ 1.项目概况
恒信大数据平台是为恒信易贷平台（P2P平台用户投资端+恒信易贷车贷平台+恒信易贷风控平台）提供大数据支撑的平台，使得公司能够更好的获取用户，维护用户，制定发展战略，主要有埋点数据采集，数据清洗，数据仓库，数据统计，经营分析，活动分析，产品分析，用户画像等功能，还有产品智能推荐，及用户分析等数据挖掘功能。
该系统集数据采集，数据清洗与处理，数据挖掘，数据展示为一体，分为离线和实时两部分。
该项目包含6个子系统：
a.数据采集埋点子系统（flume+kafka+kettle+scrapy）
b.实时交易数据系统（flume+kafka+sparkstreaming+mysql）

案例展示

实时财务重构指标计算系统

1.项目概况实时财务重构指标计算系统是为亚马逊卖家提供商品，店铺实时日表和月表财务指标的实时数仓系统，经历了多个版本的迭代，从一开始的一小时延迟优化到现在的十分钟延迟。该系统集数据采集，数据清洗与处理，数据挖掘，数据展示为一体，分为批处理和流处理两部分。该项目包含
用户行为分析系统

◆ 2018.10 - 2021.01 用户行为分析系统 ◆ 1.项目概况用户行为分析系统是为拉卡拉易分期反欺诈提供大数据风控支持的系统，使得公司能够更好的获取用户，维护用户，建立用户画像进行用户分析，数据挖掘等功能。该系统集数据采集，数据清洗与处理，数据挖掘，数