- 语言与运行:Python、asyncio(异步采集) - 动态渲染采集:Playwright(自动化浏览器渲染、页面元素等待、翻页与详情抓取) - 爬虫工程化:Scrapy + scrapy-playwright(任务调度、请求队列、可扩展管道) - 反爬与登录态处理:浏览器登录态复用(storage_state 会话保持)、请求头/UA配置、限速与低并发控制 - 数据落地:CSV 结构化输出(字段清洗、断点续写/追加写入) 载体标签(你可直接勾选/填写) - Python爬虫 - Web自动化/浏览器爬虫 - 动态渲染采集 - Scrapy工程化采集 - 数据清洗...
针对企业日常大量重复的数据处理、报表生成、批量操作等工作,开发一套 Windows 桌面自动化工具集,解决人工操作效率低、易出错、耗时久的痛点,大幅提升内部工作效率,降低人为失误。 负责工具集的整体设计与开发,基于 C#/.NET WinForms 搭建桌面应用,实现多线程大数据量处理、异常捕获与日志审计;完成数据库交互、数据校验、定时任务服务开发;负责工具部署、用户培训、Bug 修复与长期维护,保障工具稳定运行。...
针对中小企业各类业务系统的通用管理需求,打造标准化、可复用的 Web 后台管理平台,解决传统项目重复开发、架构不统一、维护成本高的痛点,为各类业务系统提供统一的权限、用户、配置管理底座,大幅缩短项目开发周期,降低维护成本。 系统提供企业级通用后台能力,核心功能包括:RBAC 权限管理(用户 / 角色 / 菜单 / 按钮权限)、数据字典管理、日志审计、文件上传管理、定时任务调度、数据导入导出、系统配置管理、代码生成器。基于前后端分离架构,可快速对接各类业务系统,实现快速开发与灵活扩展。...
负责酒水快消行业企业级 ERP 系统从需求分析、设计、编码到上线维护。 针对快消品行业客户多、订单量大、业务流转快的特点,打造全链路业务管理系统,统一管理客户跟进、订单处理、库存联动、财务对账等核心环节,解决传统手工操作效率低、数据不一致的痛点,大幅降低企业人工成本,提升业务运转效率。 系统覆盖企业全流程业务,核心功能包括:系统设置与权限管理、主数据维护、客户管理、采购 / 销售 / 库存全流程管理、多维度销售统计与数据报表。本人负责后端接口开发、数据库设计与优化、功能调试、性能调优及日常问题修复,保障系统在快消业务高并发场景下长期稳定运行。...
我主导搭建 Prometheus+Grafana 监控体系,部署 kube-prometheus、mysql-exporter、redis-exporter 等组件,覆盖 K8s 集群、数据库、中间件、Java 应用全维度监控;对接统一告警平台,实现故障事前预警,提升系统稳定性。...
我负责搭建完整持续集成环境,整合 GitLab、Jenkins、Harbor、K8s,实现代码拉取、质量检测、镜像构建、自动上传、集群发布全流程自动化;无需人工干预即可完成测试与发布,显著提升研发交付效率。主导K8s 集群、中间件及应用服务部署调试...