猿急送>

西安其它兼职程序员

ID：211729

王宽

高级大数据工程师

公司信息：
中国银联

工作经验：
4年

兼职日薪：
600元/8小时

兼职时间：
下班后
周六
周日

所在区域：
西安
全区

技术能力

1、从0到1搭建CDH集群，包括大数据平台架构选型，集群建设，应用隔离、安全认证
2、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题；
3、深入理解大数据架构、组件原理，熟悉大数据平台CDH，具备搭建HDFS、HBase、Yarn、Hive、Impala、Spark、kafka、kylin、storm、Kerberos、Sentry、Zookeeper等组件经验；
4、独自负责大数据平台日常运维（1000+个节点），具备丰富的集群管理、问题排查、调优经验；
5、掌握批量化运维技术，熟练使用开源自动化部署工具ansible；

项目经验

大数据体系规范建设（2019/05–2019/08）
项目职务：负责人
所在公司：浦发信用卡中心
项目描述：构建浦发银行信用卡中心大数据体系规范
项目职责：作为项目负责人，负责总体推进项目完成
项目业绩：完成测试与编写如下手册：
1、《大数据CDH集群部署与卸载手册》
2、《大数据集群扩容手册》
3、《大数据集群升级手册》
4、《大数据安全认证配置手册Kerberos+LDAP+Sentry》
5、《大数据集群权限管理规范》
6、《大数据集群运维操作手册》
7、《大数据组件基线配置手册》
8、《大数据集群生产使用规范》

从0到1搭建浦发银行信用卡中心第一套生产CDH大数据集群（2019/06–2019/07）
项目职务：负责人
所在公司：浦发信用卡中心
项目描述：浦发信用卡中心之前使用Ambari集群作为生产主集群，存在如下4个问题：
1、根据技术路线规划，后续将使用CDH作为生产主集群，因此需要搭建CDH集群；
2、已有集群使用较为粗放，应用与集群混合部署，资源管理混乱；
3、已有集群没有启用安全认证组件，生产数据有被篡改的风险；
4、已有集群版本较老，CDH6（Hadoop 3）已有新特性无法使用；
基于上述情况，需要从0到1搭建浦发卡中心第一套CDH集群
项目职责：作为项目负责人，全程参与项目整个生命周期建设，包括架构选型、uat测试、应用联调、投产上线
项目业绩： 1、从0到1搭建浦发卡中心第一套CDH6.1.1生产主集群、投产顺利完成
2、为集群各组件开启高可用
3、为集群开启安全认证访问控制
4、应用与集群隔离
5、使用HDFS 纠删码新特性，大幅节约存储空间

大数据集群升级CDH5.13.1-5.14.4（2018/11–2018/12）
项目职务：负责人
所在公司：中国银联股份有限公司
项目描述：【背景】
为修复之前新离线库spark缺陷以及安全室反馈的新离线库hadoop漏洞问题，按照计划，本次变更为新离线库CDH版本升级予以解决。
目前新离线库的CDH版本为5.13.1，此次升级至5.14.4，涉及到新离线库集群的214台主机。应用方面，大数据新离线集群目前部署的应用大部分是后台处理应用，老离线集群上的应用大部分尚未迁移至新集群，目前新离线库只有应用一室的“大数据商业智能”应用连接，共21台应用主机。变更将分出子规划给一室进行应用检查操作。升级窗口预计4个小时，之后应用补做相关应用场次，预期对外服务无影响。
本次为小版本升级，对集群应用接口无变化，已结合应用在开发环境进行了测试，相关应用均正常。
【目标】
实现新离线库升级至CDH5.14.4版本。
【影响性】
本次升级在日流程后进行，按照正常流程，非核心应用程序在每日13:00能够执行完成。预期对外服务无影响。
项目职责：负责该项目的成功实施，集群成功升级，对外服务无影响
项目业绩：实现新离线库升级至CDH5.14.4版本。

大数据在线集群的扩容（2017/07–2017/09）
项目职务：负责人
所在公司：中国银联股份有限公司
项目描述：大数据在线集群分为A、B两个集群，为主备关系，各100个节点。随着业务量的增长，集群存储空间达到一定瓶颈，因此对该A、B两个集群进行扩容。
项目职责： 1、负责在线A、B集群的扩容，各扩容50个节点，共计100台服务器；
2、确保应用平稳迁移；

案例展示

大数据集群版本升级CDH

https://www.jianshu.com/p/57300398996b https://blog.csdn.net/wangkuangood3200/article/details/100769142
CDH6集成Kerberos

本文是针对cloudera大数据集群安全部署整理的文档，主要介绍了大数据集群Kerberos服务器部署和集成的过程。这篇文章介绍了kerberos配置高可用HA的过程：Kerberos高可用HA配置