1. 电商数据采集平台
技术栈:Python + Scrapy + Redis + MySQL
· 设计分布式爬虫架构,部署20+爬虫节点,日均采集商品数据50万+,覆盖主流电商平台
· 实现智能反爬对抗:动态IP代理池(自研代理评分算法)、验证码识别(对接打码平台+OCR备用)、请求头指纹轮换,反爬策略自动降级切换
· 数据清洗与去重:基于Redis的BloomFilter实现URL去重,MySQL分表存储历史价格,数据准确率99.5%
· 系统稳定运行18个月,提供监控看板与异常告警,单节点故障自动迁移
2. 企业级API网关
技术栈:FastAPI + PostgreSQL + Redis + Docker
· 为SaaS平台构建统一API网关,聚合20+微服务,支持JWT认证、RBAC权限控制、动态路由
· 实现多维度限流(令牌桶/漏桶算法,基于用户/接口/IP),QPS峰值3000+,响应时间P99<50ms
· 全量日志审计:记录请求/响应体、耗时、错误码,存入ELK供运营分析
· 容器化部署:Docker Compose编排,配合GitLab CI实现蓝绿发布,回滚时间<1分钟
3. 自动化运维工具
技术栈:Python + Ansible + Prometheus
· 开发内部运维自动化平台,支持服务器批量部署(Ansible Playbook可视化编排)、配置漂移检测
· 集成Prometheus监控,自定义Exporter采集业务指标(爬虫队列长度、API错误率),通过Grafana展示
· 日志聚合分析:使用Python实现轻量级日志索引,关键字告警自动推送钉钉
· 将单次部署时间从2小时缩短至10分钟,累计管理100+服务器节点
4. 金融数据分析系统
技术栈:Python + Pandas + ClickHouse
· 处理TB级交易历史数据,设计ClickHouse分区表与物化视图,查询性能提升10倍
· 实时行情推送:对接交易所WebSocket,解析后写入Kafka,下游通过Flink/Python消费
· 提供策略回测框架:支持用户自定义指标(均线、MACD等),回测报告自动生成(收益率、夏普比)
· 对外RESTful API:QPS 2000+,时间序列数据返回优化至100ms内
5. AI学习小程序 —— 滑词卡·记忆助手
技术栈:微信小程序 + TypeScript + Python FastAPI + Redis + LLM API
· 全栈独立开发:前端采用小程序原生+自研滑动卡片组件,支持左滑“遗忘”、右滑“记住”,交互流畅60fps
· 集成记忆曲线算法:基于SuperMemo SM-2算法,动态计算单词下次复习时间,用户留存率提升35%
· AI辅助生成词卡:调用LLM API(GPT/文心)根据单词自动生成例句、同反义词、图片描述,用户可一键收藏
· 后端提供用户词库管理(MySQL)、每日复习计划推送(订阅消息),日活2000+,平均学习时长18分钟
· 特色功能:错词本强化训练、学习数据可视化(日历热力图、进度曲线)
6. AI视觉互动应用 —— 实时手势识别答题器
技术栈:Python + OpenCV + MediaPipe + WebSocket + 小程序
· 结合视觉模型(MediaPipe手掌关键点)实现实时手势识别:识别“握拳”“数字1~5”等手势
· 应用场景:线下互动答题 —— 摄像头捕捉用户手势作为答案输入,替代点击屏幕
· 后端使用WebSocket与前端小程序/PC页面通信,延迟<100ms,支持多人同时答题
· 集成LLM API自动生成题目(基于指定主题),形成“视觉输入 → AI出题 → 手势作答 → 即时反馈”闭环
· 曾用于公司团建活动,同时在线50人,手势识别准确率96%