S࿆low feverྉ
高级大数据运维
上海致宇信息技术有限公司 · 5年经验
日薪：
￥1000/8h
地点：
上海 浦东
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
大数据平台搭建与管理
• 熟练搭建和配置CDH（Cloudera Distribution Hadoop）各版本平台，掌握搭建流程和原理。
• 了解华为FusionInsight分布式处理平台，并能够进行平台部署。
• 拥有CDP（Cloudera Data Platform）集群的搭建和优化经验，熟悉其组件知识和参数调优。
大数据平台日常运维与优化
• 掌握CDH大数据平台的日常巡检、维护，熟悉相关组件的参数调优。
• 熟悉CDH平台各组件的高可用性（HA）配置和负载均衡（Load Balance）配置。
• 能够对平台进行资源优化和规划，提升集群性能和资源利用率。
• 熟悉Hadoop组件源码级问题排查，如HDFS读写流程优化、YARN资源调度策略调整。
• 掌握集群安全加固技术，包括Kerberos认证、TLS加密通信、RBAC权限控制。
分布式存储与计算框架
• 精通HDFS（Hadoop Distributed File System）架构和分布式存储原理，了解副本存放策略，并阅读过HDFS的读写流程源码。
• 熟悉MapReduce的Shuffle过程及相关技术，掌握其性能调优方法。
• 理解YARN（Yet Another Resource Negotiator）组件的工作原理和架构，能够进行资源管理和任务调度优化。
数据协调与仓库管理
• 熟练掌握Zookeeper分布式协调服务的相关知识，能够进行节点管理和数据同步配置。
• 熟悉Hive数据仓库的基本原理和架构，掌握Hive组件的参数配置和性能优化。
• 具备数据迁移能力，了解HDFS、Hive和HBase等数据迁移技术和流程。
安全漏洞修复与应急响应
• 成功修复XStream、Log4j、Apache Shiro、Apache Solr等高风险漏洞，具备完整漏洞闭环处理经验。
• 熟悉Nessus、OpenVAS等漏洞扫描工具，制定漏洞修复标准化流程。
自动化运维与脚本开发
• 熟悉Linux系统基本操作，掌握Shell和Python等脚本语言。
• 能够开发自动化运维工具，如集群巡检脚本、漏洞批量修复工具、监控告警系统，
• 熟练搭建和配置CDH（Cloudera Distribution Hadoop）各版本平台，掌握搭建流程和原理。
• 了解华为FusionInsight分布式处理平台，并能够进行平台部署。
• 拥有CDP（Cloudera Data Platform）集群的搭建和优化经验，熟悉其组件知识和参数调优。
大数据平台日常运维与优化
• 掌握CDH大数据平台的日常巡检、维护，熟悉相关组件的参数调优。
• 熟悉CDH平台各组件的高可用性（HA）配置和负载均衡（Load Balance）配置。
• 能够对平台进行资源优化和规划，提升集群性能和资源利用率。
• 熟悉Hadoop组件源码级问题排查，如HDFS读写流程优化、YARN资源调度策略调整。
• 掌握集群安全加固技术，包括Kerberos认证、TLS加密通信、RBAC权限控制。
分布式存储与计算框架
• 精通HDFS（Hadoop Distributed File System）架构和分布式存储原理，了解副本存放策略，并阅读过HDFS的读写流程源码。
• 熟悉MapReduce的Shuffle过程及相关技术，掌握其性能调优方法。
• 理解YARN（Yet Another Resource Negotiator）组件的工作原理和架构，能够进行资源管理和任务调度优化。
数据协调与仓库管理
• 熟练掌握Zookeeper分布式协调服务的相关知识，能够进行节点管理和数据同步配置。
• 熟悉Hive数据仓库的基本原理和架构，掌握Hive组件的参数配置和性能优化。
• 具备数据迁移能力，了解HDFS、Hive和HBase等数据迁移技术和流程。
安全漏洞修复与应急响应
• 成功修复XStream、Log4j、Apache Shiro、Apache Solr等高风险漏洞，具备完整漏洞闭环处理经验。
• 熟悉Nessus、OpenVAS等漏洞扫描工具，制定漏洞修复标准化流程。
自动化运维与脚本开发
• 熟悉Linux系统基本操作，掌握Shell和Python等脚本语言。
• 能够开发自动化运维工具，如集群巡检脚本、漏洞批量修复工具、监控告警系统，
项目经验
某某保险运维项目（200台节点 PB级数据量 100多个业务用户）
1. CDH集群元数据迁移
• 亮点：成功迁移CDH集群的元数据，确保数据完整性和系统稳定性。项目中解决了数据兼容性、迁移过程中服务的无缝衔接等复杂问题。
2. CDH集群内存条扩容
• 亮点：通过扩容内存条，显著提升了CDH集群的性能和稳定性。扩容过程中有效避免了集群停机，在大规模集群环境下的硬件升级和性能调优能力。
3. CDH集群自动化巡检工具开发
• 亮点：开发了自动化巡检工具，实现了对CDH集群的实时监控和问题早期预警，显著降低了人工巡检的工作量，提高了巡检效率和准确性。
4. CDH集群各组件自动化监控开发
• 亮点：成功开发了针对CDH集群各组件的自动化监控工具，能够及时发现和解决潜在问题，保障了集群的高可用性和高性能运行。
5. CDH集群资源优化与规划
• 亮点：通过对CDH集群的资源优化与规划，有效提升了集群的资源利用率，降低了运行成本，同时保证了系统的性能和稳定性。
6. 攻防演练，护网行动，安全月任务整改响应
• 亮点：在多次攻防演练和安全活动中，快速响应并完成了多项安全整改任务，提升了系统的安全防御能力，体现了应对网络安全威胁的专业性和快速反应能力。
7. Impala Yarn报表开发
• 亮点：开发了基于Impala和Yarn的报表系统，提高了数据查询和分析的速度和灵活性，满足了业务对大数据分析的需求。
8. Spark作业优化
• 亮点：通过对Spark作业的优化，显著提升了数据处理速度和作业效率，减少了资源消耗和执行时间，体现了对大数据处理的深厚技术积累。
9. 安全漏洞修复
Log4j 2.x漏洞修复（CVE-2021-44228）
• 亮点:在CDH集群中快速定位受影响的Kafka、Spark等服务，通过自动化脚本批量升级Log4j至2.17.0版本，禁用JNDI功能并验证修复结果，48小时内完成全集群修复，实现零业务中断。
XStream反序列化漏洞（CVE-2021-39139）
• 亮点:升级Hadoop生态中依赖XStream的组件（如Oozie）至1.4.18版本，配置反序列化黑白名单策略，消除远程代码执行风险。
Apache Shiro权限绕过漏洞（CVE-2020-1957）
• 亮点针对集群管理界面使用的Shiro组件，升级至1.7.0版本，重构URL权限规则，修复身份验证缺陷。
Apache Solr未授权访问漏洞（CVE-2019-17558）
• 亮点:升级Solr至8.3.1版本，限制API接口访问权限，部署IP白名单及防火墙规则，降低外部攻击面
1. CDH集群元数据迁移
• 亮点：成功迁移CDH集群的元数据，确保数据完整性和系统稳定性。项目中解决了数据兼容性、迁移过程中服务的无缝衔接等复杂问题。
2. CDH集群内存条扩容
• 亮点：通过扩容内存条，显著提升了CDH集群的性能和稳定性。扩容过程中有效避免了集群停机，在大规模集群环境下的硬件升级和性能调优能力。
3. CDH集群自动化巡检工具开发
• 亮点：开发了自动化巡检工具，实现了对CDH集群的实时监控和问题早期预警，显著降低了人工巡检的工作量，提高了巡检效率和准确性。
4. CDH集群各组件自动化监控开发
• 亮点：成功开发了针对CDH集群各组件的自动化监控工具，能够及时发现和解决潜在问题，保障了集群的高可用性和高性能运行。
5. CDH集群资源优化与规划
• 亮点：通过对CDH集群的资源优化与规划，有效提升了集群的资源利用率，降低了运行成本，同时保证了系统的性能和稳定性。
6. 攻防演练，护网行动，安全月任务整改响应
• 亮点：在多次攻防演练和安全活动中，快速响应并完成了多项安全整改任务，提升了系统的安全防御能力，体现了应对网络安全威胁的专业性和快速反应能力。
7. Impala Yarn报表开发
• 亮点：开发了基于Impala和Yarn的报表系统，提高了数据查询和分析的速度和灵活性，满足了业务对大数据分析的需求。
8. Spark作业优化
• 亮点：通过对Spark作业的优化，显著提升了数据处理速度和作业效率，减少了资源消耗和执行时间，体现了对大数据处理的深厚技术积累。
9. 安全漏洞修复
Log4j 2.x漏洞修复（CVE-2021-44228）
• 亮点:在CDH集群中快速定位受影响的Kafka、Spark等服务，通过自动化脚本批量升级Log4j至2.17.0版本，禁用JNDI功能并验证修复结果，48小时内完成全集群修复，实现零业务中断。
XStream反序列化漏洞（CVE-2021-39139）
• 亮点:升级Hadoop生态中依赖XStream的组件（如Oozie）至1.4.18版本，配置反序列化黑白名单策略，消除远程代码执行风险。
Apache Shiro权限绕过漏洞（CVE-2020-1957）
• 亮点针对集群管理界面使用的Shiro组件，升级至1.7.0版本，重构URL权限规则，修复身份验证缺陷。
Apache Solr未授权访问漏洞（CVE-2019-17558）
• 亮点:升级Solr至8.3.1版本，限制API接口访问权限，部署IP白名单及防火墙规则，降低外部攻击面
S࿆low feverྉ
高级大数据运维 · 5年经验 · 上海致宇信息技术有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
大数据平台搭建与管理
• 熟练搭建和配置CDH（Cloudera Distribution Hadoop）各版本平台，掌握搭建流程和原理。
• 了解华为FusionInsight分布式处理平台，并能够进行平台部署。
• 拥有CDP（Cloudera Data Platform）集群的搭建和优化经验，熟悉其组件知识和参数调优。
大数据平台日常运维与优化
• 掌握CDH大数据平台的日常巡检、维护，熟悉相关组件的参数调优。
• 熟悉CDH平台各组件的高可用性（HA）配置和负载均衡（Load Balance）配置。
• 能够对平台进行资源优化和规划，提升集群性能和资源利用率。
• 熟悉Hadoop组件源码级问题排查，如HDFS读写流程优化、YARN资源调度策略调整。
• 掌握集群安全加固技术，包括Kerberos认证、TLS加密通信、RBAC权限控制。
分布式存储与计算框架
• 精通HDFS（Hadoop Distributed File System）架构和分布式存储原理，了解副本存放策略，并阅读过HDFS的读写流程源码。
• 熟悉MapReduce的Shuffle过程及相关技术，掌握其性能调优方法。
• 理解YARN（Yet Another Resource Negotiator）组件的工作原理和架构，能够进行资源管理和任务调度优化。
数据协调与仓库管理
• 熟练掌握Zookeeper分布式协调服务的相关知识，能够进行节点管理和数据同步配置。
• 熟悉Hive数据仓库的基本原理和架构，掌握Hive组件的参数配置和性能优化。
• 具备数据迁移能力，了解HDFS、Hive和HBase等数据迁移技术和流程。
安全漏洞修复与应急响应
• 成功修复XStream、Log4j、Apache Shiro、Apache Solr等高风险漏洞，具备完整漏洞闭环处理经验。
• 熟悉Nessus、OpenVAS等漏洞扫描工具，制定漏洞修复标准化流程。
自动化运维与脚本开发
• 熟悉Linux系统基本操作，掌握Shell和Python等脚本语言。
• 能够开发自动化运维工具，如集群巡检脚本、漏洞批量修复工具、监控告警系统，
• 熟练搭建和配置CDH（Cloudera Distribution Hadoop）各版本平台，掌握搭建流程和原理。
• 了解华为FusionInsight分布式处理平台，并能够进行平台部署。
• 拥有CDP（Cloudera Data Platform）集群的搭建和优化经验，熟悉其组件知识和参数调优。
大数据平台日常运维与优化
• 掌握CDH大数据平台的日常巡检、维护，熟悉相关组件的参数调优。
• 熟悉CDH平台各组件的高可用性（HA）配置和负载均衡（Load Balance）配置。
• 能够对平台进行资源优化和规划，提升集群性能和资源利用率。
• 熟悉Hadoop组件源码级问题排查，如HDFS读写流程优化、YARN资源调度策略调整。
• 掌握集群安全加固技术，包括Kerberos认证、TLS加密通信、RBAC权限控制。
分布式存储与计算框架
• 精通HDFS（Hadoop Distributed File System）架构和分布式存储原理，了解副本存放策略，并阅读过HDFS的读写流程源码。
• 熟悉MapReduce的Shuffle过程及相关技术，掌握其性能调优方法。
• 理解YARN（Yet Another Resource Negotiator）组件的工作原理和架构，能够进行资源管理和任务调度优化。
数据协调与仓库管理
• 熟练掌握Zookeeper分布式协调服务的相关知识，能够进行节点管理和数据同步配置。
• 熟悉Hive数据仓库的基本原理和架构，掌握Hive组件的参数配置和性能优化。
• 具备数据迁移能力，了解HDFS、Hive和HBase等数据迁移技术和流程。
安全漏洞修复与应急响应
• 成功修复XStream、Log4j、Apache Shiro、Apache Solr等高风险漏洞，具备完整漏洞闭环处理经验。
• 熟悉Nessus、OpenVAS等漏洞扫描工具，制定漏洞修复标准化流程。
自动化运维与脚本开发
• 熟悉Linux系统基本操作，掌握Shell和Python等脚本语言。
• 能够开发自动化运维工具，如集群巡检脚本、漏洞批量修复工具、监控告警系统，
项目经验
某某保险运维项目（200台节点 PB级数据量 100多个业务用户）
1. CDH集群元数据迁移
• 亮点：成功迁移CDH集群的元数据，确保数据完整性和系统稳定性。项目中解决了数据兼容性、迁移过程中服务的无缝衔接等复杂问题。
2. CDH集群内存条扩容
• 亮点：通过扩容内存条，显著提升了CDH集群的性能和稳定性。扩容过程中有效避免了集群停机，在大规模集群环境下的硬件升级和性能调优能力。
3. CDH集群自动化巡检工具开发
• 亮点：开发了自动化巡检工具，实现了对CDH集群的实时监控和问题早期预警，显著降低了人工巡检的工作量，提高了巡检效率和准确性。
4. CDH集群各组件自动化监控开发
• 亮点：成功开发了针对CDH集群各组件的自动化监控工具，能够及时发现和解决潜在问题，保障了集群的高可用性和高性能运行。
5. CDH集群资源优化与规划
• 亮点：通过对CDH集群的资源优化与规划，有效提升了集群的资源利用率，降低了运行成本，同时保证了系统的性能和稳定性。
6. 攻防演练，护网行动，安全月任务整改响应
• 亮点：在多次攻防演练和安全活动中，快速响应并完成了多项安全整改任务，提升了系统的安全防御能力，体现了应对网络安全威胁的专业性和快速反应能力。
7. Impala Yarn报表开发
• 亮点：开发了基于Impala和Yarn的报表系统，提高了数据查询和分析的速度和灵活性，满足了业务对大数据分析的需求。
8. Spark作业优化
• 亮点：通过对Spark作业的优化，显著提升了数据处理速度和作业效率，减少了资源消耗和执行时间，体现了对大数据处理的深厚技术积累。
9. 安全漏洞修复
Log4j 2.x漏洞修复（CVE-2021-44228）
• 亮点:在CDH集群中快速定位受影响的Kafka、Spark等服务，通过自动化脚本批量升级Log4j至2.17.0版本，禁用JNDI功能并验证修复结果，48小时内完成全集群修复，实现零业务中断。
XStream反序列化漏洞（CVE-2021-39139）
• 亮点:升级Hadoop生态中依赖XStream的组件（如Oozie）至1.4.18版本，配置反序列化黑白名单策略，消除远程代码执行风险。
Apache Shiro权限绕过漏洞（CVE-2020-1957）
• 亮点针对集群管理界面使用的Shiro组件，升级至1.7.0版本，重构URL权限规则，修复身份验证缺陷。
Apache Solr未授权访问漏洞（CVE-2019-17558）
• 亮点:升级Solr至8.3.1版本，限制API接口访问权限，部署IP白名单及防火墙规则，降低外部攻击面
1. CDH集群元数据迁移
• 亮点：成功迁移CDH集群的元数据，确保数据完整性和系统稳定性。项目中解决了数据兼容性、迁移过程中服务的无缝衔接等复杂问题。
2. CDH集群内存条扩容
• 亮点：通过扩容内存条，显著提升了CDH集群的性能和稳定性。扩容过程中有效避免了集群停机，在大规模集群环境下的硬件升级和性能调优能力。
3. CDH集群自动化巡检工具开发
• 亮点：开发了自动化巡检工具，实现了对CDH集群的实时监控和问题早期预警，显著降低了人工巡检的工作量，提高了巡检效率和准确性。
4. CDH集群各组件自动化监控开发
• 亮点：成功开发了针对CDH集群各组件的自动化监控工具，能够及时发现和解决潜在问题，保障了集群的高可用性和高性能运行。
5. CDH集群资源优化与规划
• 亮点：通过对CDH集群的资源优化与规划，有效提升了集群的资源利用率，降低了运行成本，同时保证了系统的性能和稳定性。
6. 攻防演练，护网行动，安全月任务整改响应
• 亮点：在多次攻防演练和安全活动中，快速响应并完成了多项安全整改任务，提升了系统的安全防御能力，体现了应对网络安全威胁的专业性和快速反应能力。
7. Impala Yarn报表开发
• 亮点：开发了基于Impala和Yarn的报表系统，提高了数据查询和分析的速度和灵活性，满足了业务对大数据分析的需求。
8. Spark作业优化
• 亮点：通过对Spark作业的优化，显著提升了数据处理速度和作业效率，减少了资源消耗和执行时间，体现了对大数据处理的深厚技术积累。
9. 安全漏洞修复
Log4j 2.x漏洞修复（CVE-2021-44228）
• 亮点:在CDH集群中快速定位受影响的Kafka、Spark等服务，通过自动化脚本批量升级Log4j至2.17.0版本，禁用JNDI功能并验证修复结果，48小时内完成全集群修复，实现零业务中断。
XStream反序列化漏洞（CVE-2021-39139）
• 亮点:升级Hadoop生态中依赖XStream的组件（如Oozie）至1.4.18版本，配置反序列化黑白名单策略，消除远程代码执行风险。
Apache Shiro权限绕过漏洞（CVE-2020-1957）
• 亮点针对集群管理界面使用的Shiro组件，升级至1.7.0版本，重构URL权限规则，修复身份验证缺陷。
Apache Solr未授权访问漏洞（CVE-2019-17558）
• 亮点:升级Solr至8.3.1版本，限制API接口访问权限，部署IP白名单及防火墙规则，降低外部攻击面
立即沟通
