猿急送>

上海运维兼职程序员

ID：393239

S࿆low feverྉ

高级大数据运维

公司信息：
上海致宇信息技术有限公司

工作经验：
5年

兼职日薪：
1000元/8小时

兼职时间：
下班后
周六
周日

所在区域：
上海
浦东

技术能力

大数据平台搭建与管理

• 熟练搭建和配置CDH（Cloudera Distribution Hadoop）各版本平台，掌握搭建流程和原理。

• 了解华为FusionInsight分布式处理平台，并能够进行平台部署。

• 拥有CDP（Cloudera Data Platform）集群的搭建和优化经验，熟悉其组件知识和参数调优。

大数据平台日常运维与优化

　• 掌握CDH大数据平台的日常巡检、维护，熟悉相关组件的参数调优。

　• 熟悉CDH平台各组件的高可用性（HA）配置和负载均衡（Load Balance）配置。

• 能够对平台进行资源优化和规划，提升集群性能和资源利用率。

　• 熟悉Hadoop组件源码级问题排查，如HDFS读写流程优化、YARN资源调度策略调整。

　•　掌握集群安全加固技术，包括Kerberos认证、TLS加密通信、RBAC权限控制。

分布式存储与计算框架

• 精通HDFS（Hadoop Distributed File System）架构和分布式存储原理，了解副本存放策略，并阅读过HDFS的读写流程源码。

• 熟悉MapReduce的Shuffle过程及相关技术，掌握其性能调优方法。

• 理解YARN（Yet Another Resource Negotiator）组件的工作原理和架构，能够进行资源管理和任务调度优化。

数据协调与仓库管理

　• 熟练掌握Zookeeper分布式协调服务的相关知识，能够进行节点管理和数据同步配置。

• 熟悉Hive数据仓库的基本原理和架构，掌握Hive组件的参数配置和性能优化。

• 具备数据迁移能力，了解HDFS、Hive和HBase等数据迁移技术和流程。

安全漏洞修复与应急响应

　• 成功修复XStream、Log4j、Apache Shiro、Apache Solr等高风险漏洞，具备完整漏洞闭环处理经验。

　• 熟悉Nessus、OpenVAS等漏洞扫描工具，制定漏洞修复标准化流程。

自动化运维与脚本开发

• 熟悉Linux系统基本操作，掌握Shell和Python等脚本语言。

• 能够开发自动化运维工具，如集群巡检脚本、漏洞批量修复工具、监控告警系统，

项目经验

某某保险运维项目（200台节点 PB级数据量 100多个业务用户）
1. CDH集群元数据迁移

• 亮点：成功迁移CDH集群的元数据，确保数据完整性和系统稳定性。项目中解决了数据兼容性、迁移过程中服务的无缝衔接等复杂问题。

2. CDH集群内存条扩容

• 亮点：通过扩容内存条，显著提升了CDH集群的性能和稳定性。扩容过程中有效避免了集群停机，在大规模集群环境下的硬件升级和性能调优能力。

3. CDH集群自动化巡检工具开发

• 亮点：开发了自动化巡检工具，实现了对CDH集群的实时监控和问题早期预警，显著降低了人工巡检的工作量，提高了巡检效率和准确性。

4. CDH集群各组件自动化监控开发

• 亮点：成功开发了针对CDH集群各组件的自动化监控工具，能够及时发现和解决潜在问题，保障了集群的高可用性和高性能运行。

5. CDH集群资源优化与规划

• 亮点：通过对CDH集群的资源优化与规划，有效提升了集群的资源利用率，降低了运行成本，同时保证了系统的性能和稳定性。

6. 攻防演练，护网行动，安全月任务整改响应

• 亮点：在多次攻防演练和安全活动中，快速响应并完成了多项安全整改任务，提升了系统的安全防御能力，体现了应对网络安全威胁的专业性和快速反应能力。

7. Impala Yarn报表开发

• 亮点：开发了基于Impala和Yarn的报表系统，提高了数据查询和分析的速度和灵活性，满足了业务对大数据分析的需求。

8. Spark作业优化

• 亮点：通过对Spark作业的优化，显著提升了数据处理速度和作业效率，减少了资源消耗和执行时间，体现了对大数据处理的深厚技术积累。

9. 安全漏洞修复

Log4j 2.x漏洞修复（CVE-2021-44228）

• 亮点:在CDH集群中快速定位受影响的Kafka、Spark等服务，通过自动化脚本批量升级Log4j至2.17.0版本，禁用JNDI功能并验证修复结果，48小时内完成全集群修复，实现零业务中断。

XStream反序列化漏洞（CVE-2021-39139）

• 亮点:升级Hadoop生态中依赖XStream的组件（如Oozie）至1.4.18版本，配置反序列化黑白名单策略，消除远程代码执行风险。

Apache Shiro权限绕过漏洞（CVE-2020-1957）

• 亮点针对集群管理界面使用的Shiro组件，升级至1.7.0版本，重构URL权限规则，修复身份验证缺陷。

Apache Solr未授权访问漏洞（CVE-2019-17558）

• 亮点:升级Solr至8.3.1版本，限制API接口访问权限，部署IP白名单及防火墙规则，降低外部攻击面