技术能力

具备扎实的网络爬虫开发与大规模数据采集落地能力，核心依托 Python 技术栈构建全流程爬虫解决方案。熟练运用 requests、urllib3 发起高稳定性 HTTP/HTTPS 请求，精通 Scrapy 框架搭建分布式爬虫架构，可实现多线程 / 多进程并发采集，大幅提升数据抓取效率；掌握 BeautifulSoup、lxml 解析静态 HTML/XML 数据，熟练使用 XPath、CSS 选择器精准定位目标字段，同时能基于 Selenium、Playwright 模拟浏览器行为，攻克 JS 动态渲染、异步 Ajax 加载、登录态验证等复杂页面的数据采集难题。FROM AI

项目经验

项目背景：为满足企业市场调研与竞品分析需求，搭建一套覆盖多电商平台的商品数据实时采集、监控与分析系统，实现对 10 万 + SKU 的价格、销量、评价等核心数据的自动化追踪。
核心职责：主导爬虫架构设计与全流程开发，采用 Scrapy 分布式框架搭建核心采集体系，结合 Redis 实现任务队列与断点续爬机制，支持 100 + 并发线程同时运行；针对目标平台的动态渲染页面（Vue 框架）与登录态验证，通过 Playwright 模拟浏览器行为，破解基于 Cookie+Token 的身份认证机制；搭建高可用 IP 代理池（整合 3 家代理服务商，基于 Redis 实现代理质量评分与自动切换），配合 UA 随机轮换、请求频率动态调控，成功规避 95% 以上的反爬拦截；使用 XPath 与 JSONPath 精准解析商品详情页、列表页及评价接口数据。FROM AI

团队情况