项目一:多源金融监管数据采集系统 为金融科技公司搭建的合规数据采集平台。基于Scrapy与scrapy-redis构建分布式爬虫,对接香港证监会与港交所等站点实现文件的自动采集与增量归档。针对动态渲染页面使用Playwright接管,通过逆向分析定位隐藏JSON API接口提升采集效率。数据经pandas清洗后存入公司数据库。系统通过Linux crontab定时巡检,累计归档30000余份文件。
项目二:跨系统浏览器自动化数据迁移 某企业旧版Web系统无数据导出接口,需迁移数万条业务数据至新平台。基于Playwright模拟登录、遍历分页列表、提取详情字段、中间文件留存、新系统自动录入的全流程操作。针对Vue3动态渲染表单编写异步等待策略保证稳定性。使用pandas处理新旧系统字段映射与异常数据清洗,最终迁移准确率百分之百。
项目三:MySQL慢查询诊断与优化 某业务系统订单表300万行,高峰期数据库CPU满载。通过慢查询日志与pt-query-digest定位高频慢SQL,结合EXPLAIN分析发现filesort排序与索引失效问题。新增覆盖索引使核心查询降至毫秒级,删除冗余索引释放约2GB磁盘空间。引入Elasticsearch接管模糊搜索,通过汇总中间表定时预计算优化报表性能,高峰期再无超时告警。