鸭屎乌龙奶奶
高级java工程师
宇信科技 · 5年经验
日薪：
￥1000/8h
地点：
杭州 余杭
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
## 专业背景
- 北京交通大学软件工程专业毕业
- 5年后端开发与数据处理经验
## 核心技术能力
### 爬虫开发
- 精通 Playwright 自动化测试和数据采集
- 熟练掌握反爬虫对抗技术
### 后端开发
- 精通 Java、Python 等主流后端语言
- 熟练使用 Spring Boot框架
### 数据处理与分析
- 精通 SQL，熟练编写复杂查询和性能优化
- 具备数据仓库设计和 ETL 流程开发经验
### 数据库技术
- 精通 MySQL、PostgreSQL 等关系型数据库
- 熟练使用 Redis 进行缓存优化
- 熟练使用 ClickHouse 进行大规模数据分析
- 具备数据库性能调优和分库分表经验
- 北京交通大学软件工程专业毕业
- 5年后端开发与数据处理经验
## 核心技术能力
### 爬虫开发
- 精通 Playwright 自动化测试和数据采集
- 熟练掌握反爬虫对抗技术
### 后端开发
- 精通 Java、Python 等主流后端语言
- 熟练使用 Spring Boot框架
### 数据处理与分析
- 精通 SQL，熟练编写复杂查询和性能优化
- 具备数据仓库设计和 ETL 流程开发经验
### 数据库技术
- 精通 MySQL、PostgreSQL 等关系型数据库
- 熟练使用 Redis 进行缓存优化
- 熟练使用 ClickHouse 进行大规模数据分析
- 具备数据库性能调优和分库分表经验
项目经验
# 核心项目经验
## 数据采集系统
**项目角色：** 核心开发工程师
**项目周期：** 2024.01 - 至今
### 项目描述
设计并实现了一套分布式爬虫系统，支持对YouTube、Facebook、Google Play等全球主流社交平台的数据采集，日均数据采集量超过1万条。
### 技术方案
- 基于Playwright实现自动化数据采集，支持复杂场景交互和动态渲染内容抓取
- 使用Redis实现分布式任务队列，确保任务调度公平性和系统稳定性
- 基于ClickHouse构建数据仓库，实现高效的数据分析和报表生成
### 核心贡献
1. **框架设计与实现**
- 设计模块化爬虫框架，支持快速扩展新平台
- 开发反爬策略，突破各平台访问限制
2. **性能优化**
- 实现分布式部署，支持横向扩展
## 宁波某银行客户管理系统（ECIF）
**项目角色：** 后端开发工程师
**项目周期：** 2021.04 - 2022.02
### 项目描述
参与某大型商业银行的企业级客户信息整合平台（ECIF）建设，实现客户信息的统一管理、查询和分析。
### 技术方案
- 采用Spring Boot + MyBatis构建后端服务
- 使用MySQL作为主数据库，Redis实现缓存
- 基于RabbitMQ实现系统间数据同步
### 核心贡献
1. **核心功能开发**
- 实现客户信息360度视图
- 开发客户画像分析功能
2. **系统优化**
- 实现分库分表方案，解决数据量大的问题
- 优化SQL，提升查询效率
3. **安全与规范**
- 实现数据脱敏功能
### 项目成果
- 系统支持超过1000万客户信息管理
- 获得银行年度优秀项目奖
## 数据采集系统
**项目角色：** 核心开发工程师
**项目周期：** 2024.01 - 至今
### 项目描述
设计并实现了一套分布式爬虫系统，支持对YouTube、Facebook、Google Play等全球主流社交平台的数据采集，日均数据采集量超过1万条。
### 技术方案
- 基于Playwright实现自动化数据采集，支持复杂场景交互和动态渲染内容抓取
- 使用Redis实现分布式任务队列，确保任务调度公平性和系统稳定性
- 基于ClickHouse构建数据仓库，实现高效的数据分析和报表生成
### 核心贡献
1. **框架设计与实现**
- 设计模块化爬虫框架，支持快速扩展新平台
- 开发反爬策略，突破各平台访问限制
2. **性能优化**
- 实现分布式部署，支持横向扩展
## 宁波某银行客户管理系统（ECIF）
**项目角色：** 后端开发工程师
**项目周期：** 2021.04 - 2022.02
### 项目描述
参与某大型商业银行的企业级客户信息整合平台（ECIF）建设，实现客户信息的统一管理、查询和分析。
### 技术方案
- 采用Spring Boot + MyBatis构建后端服务
- 使用MySQL作为主数据库，Redis实现缓存
- 基于RabbitMQ实现系统间数据同步
### 核心贡献
1. **核心功能开发**
- 实现客户信息360度视图
- 开发客户画像分析功能
2. **系统优化**
- 实现分库分表方案，解决数据量大的问题
- 优化SQL，提升查询效率
3. **安全与规范**
- 实现数据脱敏功能
### 项目成果
- 系统支持超过1000万客户信息管理
- 获得银行年度优秀项目奖
鸭屎乌龙奶奶
高级java工程师 · 5年经验 · 宇信科技
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
## 专业背景
- 北京交通大学软件工程专业毕业
- 5年后端开发与数据处理经验
## 核心技术能力
### 爬虫开发
- 精通 Playwright 自动化测试和数据采集
- 熟练掌握反爬虫对抗技术
### 后端开发
- 精通 Java、Python 等主流后端语言
- 熟练使用 Spring Boot框架
### 数据处理与分析
- 精通 SQL，熟练编写复杂查询和性能优化
- 具备数据仓库设计和 ETL 流程开发经验
### 数据库技术
- 精通 MySQL、PostgreSQL 等关系型数据库
- 熟练使用 Redis 进行缓存优化
- 熟练使用 ClickHouse 进行大规模数据分析
- 具备数据库性能调优和分库分表经验
- 北京交通大学软件工程专业毕业
- 5年后端开发与数据处理经验
## 核心技术能力
### 爬虫开发
- 精通 Playwright 自动化测试和数据采集
- 熟练掌握反爬虫对抗技术
### 后端开发
- 精通 Java、Python 等主流后端语言
- 熟练使用 Spring Boot框架
### 数据处理与分析
- 精通 SQL，熟练编写复杂查询和性能优化
- 具备数据仓库设计和 ETL 流程开发经验
### 数据库技术
- 精通 MySQL、PostgreSQL 等关系型数据库
- 熟练使用 Redis 进行缓存优化
- 熟练使用 ClickHouse 进行大规模数据分析
- 具备数据库性能调优和分库分表经验
项目经验
# 核心项目经验
## 数据采集系统
**项目角色：** 核心开发工程师
**项目周期：** 2024.01 - 至今
### 项目描述
设计并实现了一套分布式爬虫系统，支持对YouTube、Facebook、Google Play等全球主流社交平台的数据采集，日均数据采集量超过1万条。
### 技术方案
- 基于Playwright实现自动化数据采集，支持复杂场景交互和动态渲染内容抓取
- 使用Redis实现分布式任务队列，确保任务调度公平性和系统稳定性
- 基于ClickHouse构建数据仓库，实现高效的数据分析和报表生成
### 核心贡献
1. **框架设计与实现**
- 设计模块化爬虫框架，支持快速扩展新平台
- 开发反爬策略，突破各平台访问限制
2. **性能优化**
- 实现分布式部署，支持横向扩展
## 宁波某银行客户管理系统（ECIF）
**项目角色：** 后端开发工程师
**项目周期：** 2021.04 - 2022.02
### 项目描述
参与某大型商业银行的企业级客户信息整合平台（ECIF）建设，实现客户信息的统一管理、查询和分析。
### 技术方案
- 采用Spring Boot + MyBatis构建后端服务
- 使用MySQL作为主数据库，Redis实现缓存
- 基于RabbitMQ实现系统间数据同步
### 核心贡献
1. **核心功能开发**
- 实现客户信息360度视图
- 开发客户画像分析功能
2. **系统优化**
- 实现分库分表方案，解决数据量大的问题
- 优化SQL，提升查询效率
3. **安全与规范**
- 实现数据脱敏功能
### 项目成果
- 系统支持超过1000万客户信息管理
- 获得银行年度优秀项目奖
## 数据采集系统
**项目角色：** 核心开发工程师
**项目周期：** 2024.01 - 至今
### 项目描述
设计并实现了一套分布式爬虫系统，支持对YouTube、Facebook、Google Play等全球主流社交平台的数据采集，日均数据采集量超过1万条。
### 技术方案
- 基于Playwright实现自动化数据采集，支持复杂场景交互和动态渲染内容抓取
- 使用Redis实现分布式任务队列，确保任务调度公平性和系统稳定性
- 基于ClickHouse构建数据仓库，实现高效的数据分析和报表生成
### 核心贡献
1. **框架设计与实现**
- 设计模块化爬虫框架，支持快速扩展新平台
- 开发反爬策略，突破各平台访问限制
2. **性能优化**
- 实现分布式部署，支持横向扩展
## 宁波某银行客户管理系统（ECIF）
**项目角色：** 后端开发工程师
**项目周期：** 2021.04 - 2022.02
### 项目描述
参与某大型商业银行的企业级客户信息整合平台（ECIF）建设，实现客户信息的统一管理、查询和分析。
### 技术方案
- 采用Spring Boot + MyBatis构建后端服务
- 使用MySQL作为主数据库，Redis实现缓存
- 基于RabbitMQ实现系统间数据同步
### 核心贡献
1. **核心功能开发**
- 实现客户信息360度视图
- 开发客户画像分析功能
2. **系统优化**
- 实现分库分表方案，解决数据量大的问题
- 优化SQL，提升查询效率
3. **安全与规范**
- 实现数据脱敏功能
### 项目成果
- 系统支持超过1000万客户信息管理
- 获得银行年度优秀项目奖
立即沟通
