夢隨心
大数据开发工程师
阿里 · 8年经验
日薪：
￥1000/8h
地点：
杭州
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
多年 Linux 服务器、数据库运维及大数据开发实战经验，专注企业级系统稳定保障与数据工程落地。擅长处理突发线上故障，如异常断电导致数据库崩溃、集群启动失败等紧急场景，快速评估数据风险，优先完成底层数据备份与抢救，再做故障修复与恢复。
精通 PostgreSQL、MySQL 架构设计、参数调优、高可用方案搭建，深度优化 SQL 执行效率，解决海量数据查询瓶颈。熟练使用 Shell、Python 开发自动化运维与数据处理脚本，实现定时备份、监控告警、批量数据同步。
大数据方向：负责 ETL 管道开发、数据清洗、跨源数据同步，完成海量数据迁移与数据质量校验，搭建稳定可维护的数据处理流程。
精通 PostgreSQL、MySQL 架构设计、参数调优、高可用方案搭建，深度优化 SQL 执行效率，解决海量数据查询瓶颈。熟练使用 Shell、Python 开发自动化运维与数据处理脚本，实现定时备份、监控告警、批量数据同步。
大数据方向：负责 ETL 管道开发、数据清洗、跨源数据同步，完成海量数据迁移与数据质量校验，搭建稳定可维护的数据处理流程。
项目经验
独立承接企业大数据平台全链路建设与运维工作，完成整套基础组件高可用架构搭建：MySQL主从/高可用集群、PostgreSQL高可用集群、Redis集群、Kafka消息集群、CDH Hadoop大数据集群、Elasticsearch检索集群部署、参数调优、权限规划、监控告警配置。
负责平台日常运维与突发宕机故障应急处置，针对服务器异常断电、节点故障引发的各类集群崩溃问题快速排障：处理MySQL InnoDB崩溃恢复、PostgreSQL WAL损坏与页面异常修复、Kafka副本同步故障、CDH集群HDFS块损坏与服务异常、ES分片丢失及红/黄状态恢复，优先完成底层数据备份抢救，最大限度保障业务数据安全，快速恢复线上业务、数据报表与检索服务。
同时承担多源数据ETL开发工作，对接MySQL、PostgreSQL等业务数据库，完成数据抽取、清洗、转换，通过Kafka进行数据流转，同步到大数据仓库与ES检索集群，设计增量与全量同步策略，校验数据一致性，优化同步任务调度，解决海量数据同步延迟、任务卡顿问题。
配套完善容灾备份方案，编写Shell/Python自动化脚本实现定时备份、集群巡检、状态监控，梳理集群启动规范与故障应急手册，降低后续故障恢复时长，提升整套平台稳定性。
技术栈
Linux、MySQL高可用、PostgreSQL高可用集群、Redis集群、Kafka集群、CDH(Hadoop/Hive/Zookeeper)、Elasticsearch集群运维、WAL恢复、数据ETL、Shell、Python、数据迁移、容灾备份、日志排障
负责平台日常运维与突发宕机故障应急处置，针对服务器异常断电、节点故障引发的各类集群崩溃问题快速排障：处理MySQL InnoDB崩溃恢复、PostgreSQL WAL损坏与页面异常修复、Kafka副本同步故障、CDH集群HDFS块损坏与服务异常、ES分片丢失及红/黄状态恢复，优先完成底层数据备份抢救，最大限度保障业务数据安全，快速恢复线上业务、数据报表与检索服务。
同时承担多源数据ETL开发工作，对接MySQL、PostgreSQL等业务数据库，完成数据抽取、清洗、转换，通过Kafka进行数据流转，同步到大数据仓库与ES检索集群，设计增量与全量同步策略，校验数据一致性，优化同步任务调度，解决海量数据同步延迟、任务卡顿问题。
配套完善容灾备份方案，编写Shell/Python自动化脚本实现定时备份、集群巡检、状态监控，梳理集群启动规范与故障应急手册，降低后续故障恢复时长，提升整套平台稳定性。
技术栈
Linux、MySQL高可用、PostgreSQL高可用集群、Redis集群、Kafka集群、CDH(Hadoop/Hive/Zookeeper)、Elasticsearch集群运维、WAL恢复、数据ETL、Shell、Python、数据迁移、容灾备份、日志排障
ID:441174
复制
夢隨心
大数据开发工程师 · 8年经验 · 阿里
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
多年 Linux 服务器、数据库运维及大数据开发实战经验，专注企业级系统稳定保障与数据工程落地。擅长处理突发线上故障，如异常断电导致数据库崩溃、集群启动失败等紧急场景，快速评估数据风险，优先完成底层数据备份与抢救，再做故障修复与恢复。
精通 PostgreSQL、MySQL 架构设计、参数调优、高可用方案搭建，深度优化 SQL 执行效率，解决海量数据查询瓶颈。熟练使用 Shell、Python 开发自动化运维与数据处理脚本，实现定时备份、监控告警、批量数据同步。
大数据方向：负责 ETL 管道开发、数据清洗、跨源数据同步，完成海量数据迁移与数据质量校验，搭建稳定可维护的数据处理流程。
精通 PostgreSQL、MySQL 架构设计、参数调优、高可用方案搭建，深度优化 SQL 执行效率，解决海量数据查询瓶颈。熟练使用 Shell、Python 开发自动化运维与数据处理脚本，实现定时备份、监控告警、批量数据同步。
大数据方向：负责 ETL 管道开发、数据清洗、跨源数据同步，完成海量数据迁移与数据质量校验，搭建稳定可维护的数据处理流程。
项目经验
独立承接企业大数据平台全链路建设与运维工作，完成整套基础组件高可用架构搭建：MySQL主从/高可用集群、PostgreSQL高可用集群、Redis集群、Kafka消息集群、CDH Hadoop大数据集群、Elasticsearch检索集群部署、参数调优、权限规划、监控告警配置。
负责平台日常运维与突发宕机故障应急处置，针对服务器异常断电、节点故障引发的各类集群崩溃问题快速排障：处理MySQL InnoDB崩溃恢复、PostgreSQL WAL损坏与页面异常修复、Kafka副本同步故障、CDH集群HDFS块损坏与服务异常、ES分片丢失及红/黄状态恢复，优先完成底层数据备份抢救，最大限度保障业务数据安全，快速恢复线上业务、数据报表与检索服务。
同时承担多源数据ETL开发工作，对接MySQL、PostgreSQL等业务数据库，完成数据抽取、清洗、转换，通过Kafka进行数据流转，同步到大数据仓库与ES检索集群，设计增量与全量同步策略，校验数据一致性，优化同步任务调度，解决海量数据同步延迟、任务卡顿问题。
配套完善容灾备份方案，编写Shell/Python自动化脚本实现定时备份、集群巡检、状态监控，梳理集群启动规范与故障应急手册，降低后续故障恢复时长，提升整套平台稳定性。
技术栈
Linux、MySQL高可用、PostgreSQL高可用集群、Redis集群、Kafka集群、CDH(Hadoop/Hive/Zookeeper)、Elasticsearch集群运维、WAL恢复、数据ETL、Shell、Python、数据迁移、容灾备份、日志排障
负责平台日常运维与突发宕机故障应急处置，针对服务器异常断电、节点故障引发的各类集群崩溃问题快速排障：处理MySQL InnoDB崩溃恢复、PostgreSQL WAL损坏与页面异常修复、Kafka副本同步故障、CDH集群HDFS块损坏与服务异常、ES分片丢失及红/黄状态恢复，优先完成底层数据备份抢救，最大限度保障业务数据安全，快速恢复线上业务、数据报表与检索服务。
同时承担多源数据ETL开发工作，对接MySQL、PostgreSQL等业务数据库，完成数据抽取、清洗、转换，通过Kafka进行数据流转，同步到大数据仓库与ES检索集群，设计增量与全量同步策略，校验数据一致性，优化同步任务调度，解决海量数据同步延迟、任务卡顿问题。
配套完善容灾备份方案，编写Shell/Python自动化脚本实现定时备份、集群巡检、状态监控，梳理集群启动规范与故障应急手册，降低后续故障恢复时长，提升整套平台稳定性。
技术栈
Linux、MySQL高可用、PostgreSQL高可用集群、Redis集群、Kafka集群、CDH(Hadoop/Hive/Zookeeper)、Elasticsearch集群运维、WAL恢复、数据ETL、Shell、Python、数据迁移、容灾备份、日志排障
立即沟通
