Yu
有团队 · 可整包
大数据运维开发工程师 · 8年经验 · 小米集团
0
累计接单
0
用户评价
0
被收藏
技术能力
熟悉JAVA, Python, Scala, Shell等编程语言；
具备多年Web项目开发经验，团队提供前端 + 后端 + 项目经理人力资源；拥有微信公众号及小程序开发经验;
多年大数据集群运维经验; 熟练掌握linux系统运维，Hadoop生态体系组件运维开发经验；熟悉docker，promethus， grafana，k8s， ansible等运维工具或脚本；
多年数据开发经验: 拥有实时加离线数据处理能力，熟悉spark，flink等开发；
具备多年Web项目开发经验，团队提供前端 + 后端 + 项目经理人力资源；拥有微信公众号及小程序开发经验;
多年大数据集群运维经验; 熟练掌握linux系统运维，Hadoop生态体系组件运维开发经验；熟悉docker，promethus， grafana，k8s， ansible等运维工具或脚本；
多年数据开发经验: 拥有实时加离线数据处理能力，熟悉spark，flink等开发；
项目经验
1. 国产大数据管理工具开发
类似于CM的国产化大数据运维管理工具，通过界面部署运维大数据工具及对集群进行监控管理;
后端: spring boot; java
前端: vue; js
运维管理脚本组件: ansible
部署组件: hdfs，yarn, hbase, hive, spark等
2. 大数据集群运维
上千节点大数据集群监控及运维
管控工具: ansible
监控告警: promethus + grafana
类似于CM的国产化大数据运维管理工具，通过界面部署运维大数据工具及对集群进行监控管理;
后端: spring boot; java
前端: vue; js
运维管理脚本组件: ansible
部署组件: hdfs，yarn, hbase, hive, spark等
2. 大数据集群运维
上千节点大数据集群监控及运维
管控工具: ansible
监控告警: promethus + grafana
团队情况
服务范围：
团队构成：
负责人(大数据运维开发工程师)
|
核心队员：产品经理 ·
前端工程师 ·
后端工程师
案例展示
大数据集群运维管理
本项目主要是应对Hadoop生态体系组件的日常运维，包括部署、扩容、灰度上线、状态检查等，以及提供HDFS、hive、hbase等工具包，包括HBase region迁移，热点定位，创建表等工具包。该项目主要是使用ansible进行统一管理，编写ansible playbook进
电商指标分析体系开发建设
项目为电商构建指标体系；对埋点及下单数据进行分析构建出潜在有价值客户及活动拉新客户流失等指标体系展示我在项目中主要承担以下职责:1. 全面架构设计，由于研发人员资源紧张，我负责全面架构设计，经过调研各大公司实际落地项目，选择开源工具进行开发设计；通过spark/flink对接hi
立即沟通
