仓皇 ID:196197 复制

仓皇

大数据运维经理 · 6年经验 · 上海艾瑞咨询有限公司
城市上海 杨浦 日薪500元/8h 时间 下班后周六周日可工作日远程
0
累计接单
0
用户评价
0
被收藏

技术能力

AI 技能提取 | Hadoop Linux Spark Hive yarn
1、熟悉HIVE/HDFS/YARN/SPARK/HUE/IMPALA/KYLIN/SQOOP/ALLUXIO(TACHYON);
2、熟练搭建/维护linux系统各类服务;
3、熟练搭建/维护Hadoop集群生态圈(Ambari/CDH),集群调优;
4、熟练搭建/维护GP(Greenplum)集群,集群调优;
5、熟练掌握集群资源/权限控制;
6、精通Shell;
7、熟练掌握Kettle等ETL工具。

项目经验

2017.10-2019.9 悟空洞察
项目描述: 移动互联网洞察平台,其中包括自动化智能调研、推荐净值、概念测试、名称测试、广告效果追踪、品牌健康追踪。
个人职责: 1. 短信队列开发;
2. 全套环境部署:Node.js前端+PM2托管+Nginx反向代理+PHP后端+Redis缓存+Mysql信息数据+MongoDB主要数据+Flask分析引擎;
3. 推送引擎开发,基于gitlab+runner实现持续集成。

2017.10-2019.9 谛听
项目描述: 直接指导决策的商业洞察平台,其中包括品牌竞争表现、行业分析、营销效果监测、电商竞价分析、消费者画像、媒体营销渠道分析。
个人职责: 1. 数据清洗、转化、打标签等ETL工作;
2. 指标算法开发;
3. 计算引擎调度开发;
4. 推送引擎开发;
5. Hadoop大数据平台搭建/自动化监控/调优。

2017.01-2019.9大数据平台路由仓库
项目描述: 路由数据,用户行为分析。
个人职责: 1、基于Centos服务器搭建hadoop大数据平台集群,环境搭建采用CDH,200个节点;
2、基于Centos服务器搭建GP集群,100个节点;
3、脚本编写;
4、Spark开发及调优。
5、任务调度后端引擎开发。
6、任务接口封装开发。
7、集群资源管理、权限控制/分配。
8、ETL设计开发。
9、OS维护及各类服务优化。
10、Hadoop大数据平台搭建/自动化监控/调优。

2016.02-2016.08 中国银联(银联钱包)DMP(一期/二期)
项目描述: 银联钱包APP,用户行为分析。
个人职责: 1、基于Suse离线服务器的搭建hadoop大数据平台集群,环境搭建采用cloudera manager;
2、集群资源/权限控制;
3、shell脚本开发;
4、Hive Sql编写;
5、数据分析;
6、BI设计;
7、调度引擎开发;
8、ETL设计开发;
9、日志分析。

2015.10-2016.07 华为(用户设备使用助手)DMP(一期/二期)
项目描述: 华为售后论坛,用户画像分析。
个人职责: 1、基于Redhat离线服务器搭建hadoop大数据平台集群,环境搭建采用cloudera manager;
2、脚本编写;
3、Spark开发及调优。
4、任务调度后端引擎开发。
5、任务接口封装开发。
6、集群资源管理、权限控制/分配。
7、ETL设计开发。
8、OS维护及各类服务优化。
9、Hadoop大数据平台搭建/自动化监控/调优。

2015.05-2016.12 中国电信DMP(一期/二期)
项目描述: 中国电信,用户行为分析。
个人职责: 1、基于Centos服务器搭建hadoop大数据平台集群,环境搭建采用ambari,200个节点;
2、SPARK SQL编写/调优;
3、数据分析;
4、脚本编写;
5、ETL设计开发。

2015.01-2015.04 中国移动DMP
项目描述: 中国移动,用户行为分析。
个人职责: 1、基于Centos离线服务器,搭建web环境,采用源码LNMP;
2、安全合规率整改,漏洞修复;
3、后端开发;
4、监控引擎开发;
5、DBA。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

微信沟通 立即沟通 立即预约
平台担保交易 · 1小时内不满意可退款
微信扫码,建群沟通

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
相似人才推荐: