猿急送>

北京Java兼职程序员

ID：404303

斗斗

大数据架构师（全栈）

公司信息：
北京科杰科技有限公司

工作经验：
6年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
海淀

技术能力

## 核心竞争力

🏗️ **分布式系统架构专家** - 具备从0到1设计TB级大数据平台的架构能力，精通微服务治理、服务网格、分布式事务等核心技术

☸️ **云原生技术领域专家** - 深度掌握Kubernetes生态，具备大规模集群运维和云原生架构转型经验

🚀 **高性能系统优化专家** - 在海量数据处理、高并发场景下具备丰富的性能调优和系统设计经验

💡 **技术选型与决策能力** - 具备根据业务场景进行技术栈选型、架构演进路径设计的决策能力

## 专业技能

### 大数据技术栈
- **流计算引擎**：Flink 1.18、Spark 3.5、Storm 2.4 - 精通实时流处理架构和性能调优
- **数据存储**：HDFS 3.3、HBase 2.5、Hudi 0.14、Iceberg 1.4 - 湖仓一体架构设计
- **消息队列**：Kafka 3.6、Pulsar 3.1 - 高吞吐消息系统设计
- **调度系统**：DolphinScheduler 3.2、Airflow 2.7 - 复杂DAG调度优化

### 云原生技术
- **容器编排**：Kubernetes 1.29、Docker Swarm - 大规模集群管理和Operator开发
- **服务网格**：Istio 1.20、Linkerd 2.14 - 微服务治理和流量管理
- **可观测性**：Prometheus + Grafana + Jaeger - 分布式链路追踪和监控体系
- **GitOps**：ArgoCD、FluxCD - 声明式部署和持续交付

### 后端技术
- **框架**：Spring Boot 3.x、Spring Cloud Alibaba、Dubbo 3.x
- **数据库**：MySQL 8.0、PostgreSQL 15、Redis 7.2、MongoDB 7.0
- **搜索引擎**：Elasticsearch 8.x、OpenSearch 2.x
- **消息中间件**：RocketMQ 5.x、RabbitMQ 3.12

### 前端技术
- **框架**：Next.js 15、React 19、Vue 3.4、TypeScript 5.6
- **状态管理

项目经验

### 北京科杰科技有限公司 | 高级数据架构师 | 2021.12-2024.10

#### 🏦 央行级实时计算平台 | 架构师

**项目背景**：为某中央银行构建万亿级金融数据实时处理平台，承载核心业务系统的实时风控和监管报送

**核心技术亮点**：

💰 **金融级高可用架构**
- 设计多活容灾架构，RTO<30s，RPO<5s，满足金融级可用性要求
- 基于Exactly-Once语义保证数据一致性，杜绝重复计算和数据丢失
- 实现分布式事务补偿机制(Saga模式)，保证跨系统数据一致性
- 设计熔断降级策略，核心链路可用性99.999%

🚀 **实时计算引擎优化**
- 深度定制Flink Runtime，支持动态资源调整和任务迁移
- 基于Code Generation优化SQL执行计划，查询性能提升5.8倍
- 实现多版本Flink并行运行，通过类隔离解决依赖冲突问题
- 设计基于机器学习的自动调优系统，减少90%的参数调优工作

📊 **实时数仓架构**
- 设计Lambda+Kappa融合架构，支持批流一体化数据处理
- 基于CDC构建实时数据湖，支持Schema Evolution和时间旅行
- 实现多维度数据分层(ODS/DWD/DWS/ADS)，数据治理体系化
- 采用列式存储+向量化计算，OLAP查询性能提升10倍

🔍 **可观测性体系建设**
- 设计分布式追踪系统，端到端链路可视化，故障定位时间缩短90%
- 基于时序数据库构建实时监控大盘，支持千万级指标采集
- 实现智能异常检测，基于时间序列异常算法，预警准确率95%+
- 构建多维度日志分析平台，支持PB级日志数据的秒级检索

**技术成果**：
- 支撑万笔/秒交易数据实时处理，延迟控制在100ms内
- 数据准确性99.999%，满足监管审计要求
- 平台稳定运行2年+，零重大故障，获得央行技术创新奖

---

### 北京友友天宇系统技术有限公司 | 大数据平台架构师 | 2020.01-2021.11

#### 🛠️ KDP大数据基础平台 | 架构设计

**技术挑战**：基于HDP进行深度定制，构建支持多架构、多数据库的企业级大数据平台

**核心贡献**：
- 设计插件化架构，支持组件的热插拔和版本管理
- 完成ARM64架构全栈适配，编译优化后性能损失<5%
- 实现多数据源联邦查询，支持跨异构数据库的SQL查询
- 设计自动化运维体系，集群健康检查和故障自愈

---

### 北京百分点信息科技有限公司 | 数据平台工程师 | 2016.12-2020.01

#### 📈 大数据处理平台建设 | 核心开发

**主要工作**：
- 参与Lambda架构的设计和实现，支撑千万级用户行为分析
- 负责ETL流程优化，数据处理效率提升300%
- 设计实时推荐系统，点击率提升25%
- 构建数据质量监控体系，数据准确性达到99.9%

## 技术分享与影响力

- **技术博客**：CSDN/掘金平台技术专家，累计阅读100万+，粉丝5000+
- **开源贡献**：Apache Flink Committer，为社区贡献核心特性代码
- **技术演讲**：QCon、ArchSummit等大会演讲嘉宾，分享云原生大数据实践
- **专利成果**：申请技术专利5项，其中3项已授权