我具备扎实的计算机技术背景,长期从事 Python 相关开发,尤其在网络爬虫与数据采集方面有丰富经验。熟练掌握 Requests、Selenium、BeautifulSoup、Scrapy 等常见爬虫框架与工具,能够针对不同网站结构和反爬机制设计高效稳定的采集方案。同时具备 JavaScript 逆向分析 能力,可以应对动态加载页面、接口加密、异步请求等复杂场景。除了数据获取,我还熟练使用 MySQL、MongoDB、Pandas 等工具进行数据清洗、存储和分析,能够为客户提供从采集到处理的一体化解决方案。在项目管理中,注重代码规范与可维护性,能够根据客户需求提供定制化的交付,并保证结果准确可靠。除此之外,我还具备机器学习与数据分析的基础能力,可以在必要时为客户提供数据挖掘与趋势分析的增值服务。
1. 电商价格监控系统
为客户开发了一套基于 Python + Scrapy + MySQL 的电商数据采集系统,可以定时爬取指定商品的价格、销量与评论数据,并自动生成对比报表。系统运行稳定,支持多线程采集和异常重试,帮助客户实时掌握竞争对手动态。
2. 招聘信息爬取与分析平台
使用 Requests + Selenium + Pandas 搭建了招聘网站数据采集与分析平台,能够批量获取岗位信息、薪资水平、地区分布,并通过可视化图表展示。该工具已被用于市场调研,客户反馈良好。
3. 舆情监控与关键词抓取工具
设计了一个轻量级的网络舆情监控工具,能够对新闻网站、论坛、微博等公开数据源进行爬取,并通过关键词规则自动筛选相关信息。系统支持邮件提醒与数据存档,方便客户第一时间掌握行业热点。
4. YouTube/音频采集项目(个人作品)
开发了一个自动化工具,基于 yt-dlp + Python,可定时下载订阅频道的新视频并提取音频,自动分类保存,便于客户做二次利用。该项目展示了我在 API 调用与媒体处理方面的综合能力。
本作品是一个基于 Python + yt-dlp 开发的 多平台(B站,腾讯视频,Youtube) 音频下载工具,采用 图形化界面(GUI) 设计,面向非技术用户,极大降低了操作门槛。用户只需输入频道链接或视频链接,即可批量下载并自动提取音频文件。作品支持 频道选择、时间筛选、代
本作品是一个基于 Next.js 和 AI 技术 构建的互动式 Python 问答应用,旨在通过趣味测验帮助用户提升 Python 编程能力。项目集成了 AI 问题生成引擎,能够自动生成 Python 编程题目及答题提示,为每次测验提供独特体验;同时,应用界面采用 Shadcn