熟练掌握 Python 语言，具备扎实的爬虫开发与数据处理能力，能够独立完成从需求分析、方案设计到代码实现的全流程工作。熟练使用 Requests、Scrapy、Selenium等主流爬虫框架与工具，可应对静态网页、动态渲染页面、JS 加密接口、反爬策略（IP 封禁、User-Agent 校验、Cookie 池、验证码处理）等多种场景的数据采集需求。
熟悉 HTTP/HTTPS 协议原理，能通过抓包分析接口逻辑，实现高效的接口逆向与数据爬取；能处理常见的反爬机制，如滑块验证、人机验证、请求频率限制等。
同时熟练使用 XPath、BeautifulSoup、PyQuery 等解析工具进行数据清洗与结构化处理，可将采集到的数据存储到 MySQL、MongoDB 等数据库中，或导出为 Excel、JSON、CSV 等格式文件。了解爬虫相关的法律法规与平台规范，能在合规范围内设计和实现爬虫方案，避免数据爬取过程中的合规风险。具备良好的问题排查与调试能力，可快速定位并解决爬取过程中遇到的异常问题，保障爬虫项目稳定运行。

独立负责豆瓣平台电影与图书数据的自动化采集、清洗与结构化存储全流程。针对豆瓣的反爬机制，设计了包含请求头伪装、代理 IP 轮换、请求频率控制的反反爬方案，有效规避了 IP 封禁与请求限制，实现了平台公开数据的稳定爬取。
项目中使用 Requests 库结合 XPath 解析静态页面数据，对需要动态加载的评分、评论等内容，采用 Selenium 无头浏览器模拟用户行为进行渲染爬取；通过抓包分析接口逻辑，实现了电影列表、详情、评分、短评、长评，以及图书的基本信息、作者、出版社、评价数据的批量采集，单次可稳定采集万级以上数据量。
爬取完成后，对数据进行清洗、去重与结构化处理，去除无效数据与重复内容，并将最终数据存储至 MySQL 数据库，同时导出为 CSV 格式文件，为后续的数据分析与市场调研提供了高质量的数据支持。项目运行期间，爬虫稳定性高，数据准确率达 99% 以上，有效支撑了业务侧的数据分析需求。