作为Python爬虫工程师，我专注于高效采集、解析和存储网络数据，支持业务决策与数据分析。主要负责设计分布式爬虫架构、突破反爬机制（如IP代理、请求头模拟）、优化数据清洗流程，并确保爬虫的稳定性和合规性。

技术能力：

精通Requests/Scrapy框架，熟悉异步爬虫（Aiohttp）及Selenium自动化；
掌握XPath/BeautifulSoup解析技术，熟悉正则表达式与JSON数据处理；
具备反爬对抗经验（验证码识别、User-Agent轮换、代理IP池搭建）；
熟练使用MongoDB/MySQL存储数据，了解分布式爬虫（Scrapy-Redis）；
熟悉数据清洗（Pandas）及基础数据分析，能编写高效稳定的爬虫系统。
通过技术为业务提供高质量数据支持，助力数据驱动型决策。

电商平台商品数据爬取与分析系统
技术栈：Scrapy、Selenium、MongoDB、Redis、Pandas
项目描述：针对大型电商平台某东，设计高并发爬虫系统，突破反爬机制（IP封禁、动态加载、验证码），稳定抓取百万级商品数据（价格、销量、评论）。
核心贡献：

使用Scrapy-Redis搭建分布式爬虫，提升爬取效率3倍以上；
结合Selenium处理动态渲染页面，破解Ajax数据加载；
部署IP代理池​（付费代理+自建代理）及随机UA策略，降低封禁率至5%以下；
数据存储至MongoDB，并利用Pandas清洗分析，输出竞品价格趋势报告，支撑运营决策。