掌握全栈开发能力,前端框架(vue2/3,uniapp)、后端接口开发(springboot、flask(python框架))(多线程、大并发、分布式锁)
精通Python爬虫,包括接口爬虫和页面爬虫(支持多线程数据爬取),掌握js逆向工程,对反爬取有一定的技术支持
精通Linux操作系统,可帮助部署和运维生产环境,包括安装各种中间件、数据库、NGINX域名配置
可进行二次代码修改及优化
项目名称: 多端数据采集与智能办公工具平台
时间: 2023.06 - 2024.03
角色: 全栈开发工程师 / 技术负责人
项目描述:
为某企业打造集数据采集、清洗、分析与办公自动化工具于一体的综合性平台,覆盖 Web管理后台、微信小程序、Flutter跨平台APP三端,并提供统一API服务。平台日均处理数据量超百万条,工具日活用户1000+。
个人职责与技术亮点:
多端架构与开发
主导前端与移动端技术选型,基于 React + Next.js 实现 Web 端,Flutter 开发 iOS/Android APP,Taro/uni-app 构建微信小程序。通过共享核心业务逻辑层,实现代码复用率达 60% 以上,显著降低多端维护成本。
后端接口与多线程/锁实践
使用 Python FastAPI 和 Node.js 构建高并发 API 网关。在数据采集模块中,利用 多线程/进程池 并行抓取任务,结合 Redis 分布式锁 和 数据库行级锁 严格控制并发写入,完美解决任务争抢、数据重复与库存超卖等问题,保障数据一致性。
深度爬虫采集与JS逆向
独立开发定向数据采集引擎,覆盖接口抓取与动态页面渲染场景。针对目标站点高强度反爬,熟练进行 JS 逆向工程:断点调试补环境、绕过代码混淆与调试检测、逆向解析 Webpack 模块加载器、动态生成加密参数(如 _sign / token),成功攻克阿里系、字节系等多个高难度数据源,数据完整率达 95% 以上。
办公自动化工具集成
负责 PDF 压缩合并、Word 排版、图片去水印等工具的纯前端实现,利用 Web Worker + WASM 保证处理大文件时不阻塞 UI;AI 文案生成部分采用 Vercel AI SDK 流式输出,并通过边缘函数代理保障 API 秘钥安全。
运维与部署
全权负责项目部署运维,使用 Docker Compose 容器化编排所有服务,配置 Nginx 反向代理与负载均衡,搭建 GitLab CI/CD + Webhook 自动化发布管道,实现零停机更新。同时部署 Prometheus + Grafana 监控体系,实时追踪多线程任务队列、接口响应与服务器资源,确保服务稳定运行。
该小程序是为秀域科技打造的一款集线上商场、线上服务预约、活动促销、快捷健康资讯、积分商场等主要功能的小程序;主要在其中编写一部分的后端接口,包含商场页面商品查询接口、拼团购、积分商场等功能模块接口,以及对页面实现联调工作
项目概述 iceMoreTools 是一站式效率工具平台,聚焦职场高频场景,提供 PDF合并/压缩、Word智能排版、表格百万数据清洗、图片有损/无损压缩、AI短视频脚本生成、AI文案创作、智能去水印 等十余个工具。 核心目标是让所有计算与处理完全在浏览器内完成,保护用户