志
高级爬虫工程师
湖北战神互娱管理有限公司 · 1年经验
日薪：
￥500/8h
地点：
武汉 全区
时间：
可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
精通 Python，熟练掌握 Scrapy、aiohttp 等异步爬虫框架，能构建高性能的采集系统。
具备强大的反爬破解能力，能熟练应对动态渲染、验证码、IP封锁等。精通 JavaScript 逆向，能分析并破解复杂的加密参数，熟悉 Selenium、Playwright 等自动化工具。
掌握分布式爬虫架构设计，能运用 Redis、Kafka 等消息队列和 Docker 容器化技术，搭建可扩展的爬虫集群。
熟悉 MySQL、MongoDB、Elasticsearch 等数据库，能高效地进行数据存储、检索与分析。
随着技术发展，能够利用 AI 和大模型技术辅助数据解析、识别和清洗。
精通 HTML5、CSS3、JavaScript (ES6+)，至少熟练掌握一个主流框架（如 Vue、React），并理解其底层原理。熟悉 TypeScript、前端工程化（如 Vite、Webpack）和性能优化。
精通后端语言（如 Java、Python、Go 或 Node.js），熟练掌握 Spring Boot、Django、Gin 等主流框架，能设计并开发高性能的 RESTful API。
深入理解 MySQL、PostgreSQL 等关系型数据库的设计与优化，熟悉 Redis 缓存和 RabbitMQ、Kafka 等消息中间件。具备微服务架构设计和系统性能调优的能力。
熟练使用 Git 进行版本控制，掌握 Docker 容器化技术，了解 CI/CD 持续集成与部署流程。
能够打通前后端，独立完成从用户界面到服务器逻辑的完整功能开发。
具备强大的反爬破解能力，能熟练应对动态渲染、验证码、IP封锁等。精通 JavaScript 逆向，能分析并破解复杂的加密参数，熟悉 Selenium、Playwright 等自动化工具。
掌握分布式爬虫架构设计，能运用 Redis、Kafka 等消息队列和 Docker 容器化技术，搭建可扩展的爬虫集群。
熟悉 MySQL、MongoDB、Elasticsearch 等数据库，能高效地进行数据存储、检索与分析。
随着技术发展，能够利用 AI 和大模型技术辅助数据解析、识别和清洗。
精通 HTML5、CSS3、JavaScript (ES6+)，至少熟练掌握一个主流框架（如 Vue、React），并理解其底层原理。熟悉 TypeScript、前端工程化（如 Vite、Webpack）和性能优化。
精通后端语言（如 Java、Python、Go 或 Node.js），熟练掌握 Spring Boot、Django、Gin 等主流框架，能设计并开发高性能的 RESTful API。
深入理解 MySQL、PostgreSQL 等关系型数据库的设计与优化，熟悉 Redis 缓存和 RabbitMQ、Kafka 等消息中间件。具备微服务架构设计和系统性能调优的能力。
熟练使用 Git 进行版本控制，掌握 Docker 容器化技术，了解 CI/CD 持续集成与部署流程。
能够打通前后端，独立完成从用户界面到服务器逻辑的完整功能开发。
项目经验
基于大数据的电影数据爬取与可视化系统的设计与实现
1、负责电影数据采集系统的设计与开发工作。通过Python爬虫技术从豆瓣等主流影视平台抓取影片信息（包括片名、导演、演员阵容、评分及评论等关键字段），构建结构化数据库存储体系。采用Scrapy框架实现分布式爬取策略以提升效率。
2、搭建基于ECharts的数据可视化分析平台。针对票房走势和评分分布等维度设计动态交互图表（包含热力图/折线图/雷达图等多种形式），支持用户自定义筛选条件实时生成可视化报表。
3、开发影评文本挖掘系统。运用jieba分词和TF-IDF算法处理海量评论数据后，通过WordCloud生成高频关键词云图；结合LDA主题模型提取潜在观众情感倾向特征。
4、实现个性化推荐功能模块。采用基于用户的协同过滤算法计算影片相似度矩阵（皮尔逊相关系数），构建推荐引擎为不同用户群体生成差异化片单建议。
5、主导MySQL数据库的优化工作。针对千万级数据量设计复合索引策略，将查询响应时间缩短60%以上；通过定期增量更新机制保障数据时效性。
6、完成前后端联调测试。使用Flask框架搭建RESTful API接口服务，配合前端团队完成跨平台Web应用部署上线。
基于JavaSpringboot的医疗管家系统
1、负责医疗管家系统个人中心模块的前后端开发工作。采用SpringBoot框架搭建后端服务层,实现患者个人信息管理功能。
2、使用MyBatis作为ORM框架进行数据库操作,完成患者基本信息CRUD功能的开发,包括病历查询和预约记录查看等功能。
3、参与前端页面开发,使用HTML/CSS/JavaScript技术栈实现响应式布局设计,确保在不同设备上都能良好展示
4、编写单元测试用例对核心功能进行验证,使用Postman进行接口测试,保证各功能模块的稳定性和可靠性。
5、配合团队完成系统联调工作,解决前后端数据交互问题并持续优化用户体验。
基于wx小程序的校园贴吧
1、
负责校园贴吧小程序后端系统的整体架构设计，独立完成MySQL数据库表结构规划与搭建工作。采用模块化设计思想将系统划分为用户管理模块（注册/登录/权限控制）、帖子管理模块（发布/编辑/删除）、互动功能模块（评论/点赞）三大核心板块。
2、
主导RESTful API接口的开发工作：
- 使用Node.js+Express框架构建后端服务层；
- 设计并实现完整的JWT鉴权体系；
- 对敏感数据进行AES加密存储；
- 编写高性能的SQL查询语句并进行索引优化。
3、
深度参与前端页面组件化开发：
- 基于WXML/WXSS构建可复用的UI组件库；
- 实现响应式布局适配不同尺寸移动设备；
- 封装通用业务逻辑到自定义组件中；
- 对接后端API完成数据双向绑定。
4、
引入微信云开发的增值服务：
- 集成实时消息推送功能；
- 部署云存储服务用于图片/文件托管；
- 利用云函数实现部分业务逻辑的Serverless化；
- 通过CDN加速静态资源加载。
5、
实施全面的性能调优措施
基于鸿蒙原生ArkTs的悟空票务
1. **鸿蒙ArkTS开发**：基于华为鸿蒙操作系统原生ArkTS框架进行票务系统开发，实现跨终端设备兼容性及高性能交互体验。
2.**核心功能模块开发**：
- 设计并实现购票流程闭环，包含场次查询、座位选择、支付对接等完整链路；
- 搭建实时出票系统架构 ，通过分布式能力确保多端数据同步；
- 主导个人中心模块开发 ，集成订单管理 、收藏夹 、会员权益等子功能 。
3.**技术实践**
- 采用声明式UI开发范式提升界面渲染效率；
- 运用Stage模型进行模块化开发 ，降低代码耦合度；
- 对接华为云数据库服务实现数据持久化存储 。
4.**项目成果**：
- 完成全部需求功能点的交付并通过华为云测试标准；
- 性能优化后关键页面加载速度提升40%；
- 获得团队优秀实习生代码质量评分 。
1、负责电影数据采集系统的设计与开发工作。通过Python爬虫技术从豆瓣等主流影视平台抓取影片信息（包括片名、导演、演员阵容、评分及评论等关键字段），构建结构化数据库存储体系。采用Scrapy框架实现分布式爬取策略以提升效率。
2、搭建基于ECharts的数据可视化分析平台。针对票房走势和评分分布等维度设计动态交互图表（包含热力图/折线图/雷达图等多种形式），支持用户自定义筛选条件实时生成可视化报表。
3、开发影评文本挖掘系统。运用jieba分词和TF-IDF算法处理海量评论数据后，通过WordCloud生成高频关键词云图；结合LDA主题模型提取潜在观众情感倾向特征。
4、实现个性化推荐功能模块。采用基于用户的协同过滤算法计算影片相似度矩阵（皮尔逊相关系数），构建推荐引擎为不同用户群体生成差异化片单建议。
5、主导MySQL数据库的优化工作。针对千万级数据量设计复合索引策略，将查询响应时间缩短60%以上；通过定期增量更新机制保障数据时效性。
6、完成前后端联调测试。使用Flask框架搭建RESTful API接口服务，配合前端团队完成跨平台Web应用部署上线。
基于JavaSpringboot的医疗管家系统
1、负责医疗管家系统个人中心模块的前后端开发工作。采用SpringBoot框架搭建后端服务层,实现患者个人信息管理功能。
2、使用MyBatis作为ORM框架进行数据库操作,完成患者基本信息CRUD功能的开发,包括病历查询和预约记录查看等功能。
3、参与前端页面开发,使用HTML/CSS/JavaScript技术栈实现响应式布局设计,确保在不同设备上都能良好展示
4、编写单元测试用例对核心功能进行验证,使用Postman进行接口测试,保证各功能模块的稳定性和可靠性。
5、配合团队完成系统联调工作,解决前后端数据交互问题并持续优化用户体验。
基于wx小程序的校园贴吧
1、
负责校园贴吧小程序后端系统的整体架构设计，独立完成MySQL数据库表结构规划与搭建工作。采用模块化设计思想将系统划分为用户管理模块（注册/登录/权限控制）、帖子管理模块（发布/编辑/删除）、互动功能模块（评论/点赞）三大核心板块。
2、
主导RESTful API接口的开发工作：
- 使用Node.js+Express框架构建后端服务层；
- 设计并实现完整的JWT鉴权体系；
- 对敏感数据进行AES加密存储；
- 编写高性能的SQL查询语句并进行索引优化。
3、
深度参与前端页面组件化开发：
- 基于WXML/WXSS构建可复用的UI组件库；
- 实现响应式布局适配不同尺寸移动设备；
- 封装通用业务逻辑到自定义组件中；
- 对接后端API完成数据双向绑定。
4、
引入微信云开发的增值服务：
- 集成实时消息推送功能；
- 部署云存储服务用于图片/文件托管；
- 利用云函数实现部分业务逻辑的Serverless化；
- 通过CDN加速静态资源加载。
5、
实施全面的性能调优措施
基于鸿蒙原生ArkTs的悟空票务
1. **鸿蒙ArkTS开发**：基于华为鸿蒙操作系统原生ArkTS框架进行票务系统开发，实现跨终端设备兼容性及高性能交互体验。
2.**核心功能模块开发**：
- 设计并实现购票流程闭环，包含场次查询、座位选择、支付对接等完整链路；
- 搭建实时出票系统架构 ，通过分布式能力确保多端数据同步；
- 主导个人中心模块开发 ，集成订单管理 、收藏夹 、会员权益等子功能 。
3.**技术实践**
- 采用声明式UI开发范式提升界面渲染效率；
- 运用Stage模型进行模块化开发 ，降低代码耦合度；
- 对接华为云数据库服务实现数据持久化存储 。
4.**项目成果**：
- 完成全部需求功能点的交付并通过华为云测试标准；
- 性能优化后关键页面加载速度提升40%；
- 获得团队优秀实习生代码质量评分 。
ID:417764
复制
志
高级爬虫工程师 · 1年经验 · 湖北战神互娱管理有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
精通 Python，熟练掌握 Scrapy、aiohttp 等异步爬虫框架，能构建高性能的采集系统。
具备强大的反爬破解能力，能熟练应对动态渲染、验证码、IP封锁等。精通 JavaScript 逆向，能分析并破解复杂的加密参数，熟悉 Selenium、Playwright 等自动化工具。
掌握分布式爬虫架构设计，能运用 Redis、Kafka 等消息队列和 Docker 容器化技术，搭建可扩展的爬虫集群。
熟悉 MySQL、MongoDB、Elasticsearch 等数据库，能高效地进行数据存储、检索与分析。
随着技术发展，能够利用 AI 和大模型技术辅助数据解析、识别和清洗。
精通 HTML5、CSS3、JavaScript (ES6+)，至少熟练掌握一个主流框架（如 Vue、React），并理解其底层原理。熟悉 TypeScript、前端工程化（如 Vite、Webpack）和性能优化。
精通后端语言（如 Java、Python、Go 或 Node.js），熟练掌握 Spring Boot、Django、Gin 等主流框架，能设计并开发高性能的 RESTful API。
深入理解 MySQL、PostgreSQL 等关系型数据库的设计与优化，熟悉 Redis 缓存和 RabbitMQ、Kafka 等消息中间件。具备微服务架构设计和系统性能调优的能力。
熟练使用 Git 进行版本控制，掌握 Docker 容器化技术，了解 CI/CD 持续集成与部署流程。
能够打通前后端，独立完成从用户界面到服务器逻辑的完整功能开发。
具备强大的反爬破解能力，能熟练应对动态渲染、验证码、IP封锁等。精通 JavaScript 逆向，能分析并破解复杂的加密参数，熟悉 Selenium、Playwright 等自动化工具。
掌握分布式爬虫架构设计，能运用 Redis、Kafka 等消息队列和 Docker 容器化技术，搭建可扩展的爬虫集群。
熟悉 MySQL、MongoDB、Elasticsearch 等数据库，能高效地进行数据存储、检索与分析。
随着技术发展，能够利用 AI 和大模型技术辅助数据解析、识别和清洗。
精通 HTML5、CSS3、JavaScript (ES6+)，至少熟练掌握一个主流框架（如 Vue、React），并理解其底层原理。熟悉 TypeScript、前端工程化（如 Vite、Webpack）和性能优化。
精通后端语言（如 Java、Python、Go 或 Node.js），熟练掌握 Spring Boot、Django、Gin 等主流框架，能设计并开发高性能的 RESTful API。
深入理解 MySQL、PostgreSQL 等关系型数据库的设计与优化，熟悉 Redis 缓存和 RabbitMQ、Kafka 等消息中间件。具备微服务架构设计和系统性能调优的能力。
熟练使用 Git 进行版本控制，掌握 Docker 容器化技术，了解 CI/CD 持续集成与部署流程。
能够打通前后端，独立完成从用户界面到服务器逻辑的完整功能开发。
项目经验
基于大数据的电影数据爬取与可视化系统的设计与实现
1、负责电影数据采集系统的设计与开发工作。通过Python爬虫技术从豆瓣等主流影视平台抓取影片信息（包括片名、导演、演员阵容、评分及评论等关键字段），构建结构化数据库存储体系。采用Scrapy框架实现分布式爬取策略以提升效率。
2、搭建基于ECharts的数据可视化分析平台。针对票房走势和评分分布等维度设计动态交互图表（包含热力图/折线图/雷达图等多种形式），支持用户自定义筛选条件实时生成可视化报表。
3、开发影评文本挖掘系统。运用jieba分词和TF-IDF算法处理海量评论数据后，通过WordCloud生成高频关键词云图；结合LDA主题模型提取潜在观众情感倾向特征。
4、实现个性化推荐功能模块。采用基于用户的协同过滤算法计算影片相似度矩阵（皮尔逊相关系数），构建推荐引擎为不同用户群体生成差异化片单建议。
5、主导MySQL数据库的优化工作。针对千万级数据量设计复合索引策略，将查询响应时间缩短60%以上；通过定期增量更新机制保障数据时效性。
6、完成前后端联调测试。使用Flask框架搭建RESTful API接口服务，配合前端团队完成跨平台Web应用部署上线。
基于JavaSpringboot的医疗管家系统
1、负责医疗管家系统个人中心模块的前后端开发工作。采用SpringBoot框架搭建后端服务层,实现患者个人信息管理功能。
2、使用MyBatis作为ORM框架进行数据库操作,完成患者基本信息CRUD功能的开发,包括病历查询和预约记录查看等功能。
3、参与前端页面开发,使用HTML/CSS/JavaScript技术栈实现响应式布局设计,确保在不同设备上都能良好展示
4、编写单元测试用例对核心功能进行验证,使用Postman进行接口测试,保证各功能模块的稳定性和可靠性。
5、配合团队完成系统联调工作,解决前后端数据交互问题并持续优化用户体验。
基于wx小程序的校园贴吧
1、
负责校园贴吧小程序后端系统的整体架构设计，独立完成MySQL数据库表结构规划与搭建工作。采用模块化设计思想将系统划分为用户管理模块（注册/登录/权限控制）、帖子管理模块（发布/编辑/删除）、互动功能模块（评论/点赞）三大核心板块。
2、
主导RESTful API接口的开发工作：
- 使用Node.js+Express框架构建后端服务层；
- 设计并实现完整的JWT鉴权体系；
- 对敏感数据进行AES加密存储；
- 编写高性能的SQL查询语句并进行索引优化。
3、
深度参与前端页面组件化开发：
- 基于WXML/WXSS构建可复用的UI组件库；
- 实现响应式布局适配不同尺寸移动设备；
- 封装通用业务逻辑到自定义组件中；
- 对接后端API完成数据双向绑定。
4、
引入微信云开发的增值服务：
- 集成实时消息推送功能；
- 部署云存储服务用于图片/文件托管；
- 利用云函数实现部分业务逻辑的Serverless化；
- 通过CDN加速静态资源加载。
5、
实施全面的性能调优措施
基于鸿蒙原生ArkTs的悟空票务
1. **鸿蒙ArkTS开发**：基于华为鸿蒙操作系统原生ArkTS框架进行票务系统开发，实现跨终端设备兼容性及高性能交互体验。
2.**核心功能模块开发**：
- 设计并实现购票流程闭环，包含场次查询、座位选择、支付对接等完整链路；
- 搭建实时出票系统架构 ，通过分布式能力确保多端数据同步；
- 主导个人中心模块开发 ，集成订单管理 、收藏夹 、会员权益等子功能 。
3.**技术实践**
- 采用声明式UI开发范式提升界面渲染效率；
- 运用Stage模型进行模块化开发 ，降低代码耦合度；
- 对接华为云数据库服务实现数据持久化存储 。
4.**项目成果**：
- 完成全部需求功能点的交付并通过华为云测试标准；
- 性能优化后关键页面加载速度提升40%；
- 获得团队优秀实习生代码质量评分 。
1、负责电影数据采集系统的设计与开发工作。通过Python爬虫技术从豆瓣等主流影视平台抓取影片信息（包括片名、导演、演员阵容、评分及评论等关键字段），构建结构化数据库存储体系。采用Scrapy框架实现分布式爬取策略以提升效率。
2、搭建基于ECharts的数据可视化分析平台。针对票房走势和评分分布等维度设计动态交互图表（包含热力图/折线图/雷达图等多种形式），支持用户自定义筛选条件实时生成可视化报表。
3、开发影评文本挖掘系统。运用jieba分词和TF-IDF算法处理海量评论数据后，通过WordCloud生成高频关键词云图；结合LDA主题模型提取潜在观众情感倾向特征。
4、实现个性化推荐功能模块。采用基于用户的协同过滤算法计算影片相似度矩阵（皮尔逊相关系数），构建推荐引擎为不同用户群体生成差异化片单建议。
5、主导MySQL数据库的优化工作。针对千万级数据量设计复合索引策略，将查询响应时间缩短60%以上；通过定期增量更新机制保障数据时效性。
6、完成前后端联调测试。使用Flask框架搭建RESTful API接口服务，配合前端团队完成跨平台Web应用部署上线。
基于JavaSpringboot的医疗管家系统
1、负责医疗管家系统个人中心模块的前后端开发工作。采用SpringBoot框架搭建后端服务层,实现患者个人信息管理功能。
2、使用MyBatis作为ORM框架进行数据库操作,完成患者基本信息CRUD功能的开发,包括病历查询和预约记录查看等功能。
3、参与前端页面开发,使用HTML/CSS/JavaScript技术栈实现响应式布局设计,确保在不同设备上都能良好展示
4、编写单元测试用例对核心功能进行验证,使用Postman进行接口测试,保证各功能模块的稳定性和可靠性。
5、配合团队完成系统联调工作,解决前后端数据交互问题并持续优化用户体验。
基于wx小程序的校园贴吧
1、
负责校园贴吧小程序后端系统的整体架构设计，独立完成MySQL数据库表结构规划与搭建工作。采用模块化设计思想将系统划分为用户管理模块（注册/登录/权限控制）、帖子管理模块（发布/编辑/删除）、互动功能模块（评论/点赞）三大核心板块。
2、
主导RESTful API接口的开发工作：
- 使用Node.js+Express框架构建后端服务层；
- 设计并实现完整的JWT鉴权体系；
- 对敏感数据进行AES加密存储；
- 编写高性能的SQL查询语句并进行索引优化。
3、
深度参与前端页面组件化开发：
- 基于WXML/WXSS构建可复用的UI组件库；
- 实现响应式布局适配不同尺寸移动设备；
- 封装通用业务逻辑到自定义组件中；
- 对接后端API完成数据双向绑定。
4、
引入微信云开发的增值服务：
- 集成实时消息推送功能；
- 部署云存储服务用于图片/文件托管；
- 利用云函数实现部分业务逻辑的Serverless化；
- 通过CDN加速静态资源加载。
5、
实施全面的性能调优措施
基于鸿蒙原生ArkTs的悟空票务
1. **鸿蒙ArkTS开发**：基于华为鸿蒙操作系统原生ArkTS框架进行票务系统开发，实现跨终端设备兼容性及高性能交互体验。
2.**核心功能模块开发**：
- 设计并实现购票流程闭环，包含场次查询、座位选择、支付对接等完整链路；
- 搭建实时出票系统架构 ，通过分布式能力确保多端数据同步；
- 主导个人中心模块开发 ，集成订单管理 、收藏夹 、会员权益等子功能 。
3.**技术实践**
- 采用声明式UI开发范式提升界面渲染效率；
- 运用Stage模型进行模块化开发 ，降低代码耦合度；
- 对接华为云数据库服务实现数据持久化存储 。
4.**项目成果**：
- 完成全部需求功能点的交付并通过华为云测试标准；
- 性能优化后关键页面加载速度提升40%；
- 获得团队优秀实习生代码质量评分 。
立即沟通
