熟练掌握Python网络爬虫开发,熟悉requests、Scrapy、BeautifulSoup、lxml、Selenium、Playwright等工具库
精通HTTP/HTTPS协议,能处理反爬机制(验证码、IP封禁、User-Agent限制等)
擅长数据解析技术(XPath/CSS选择器/正则表达式),高效提取结构化数据
熟悉异步爬虫开发(aiohttp、asyncio),提升高并发场景下的采集效率
掌握数据存储方案(MySQL/MongoDB/CSV/JSON),实现爬取数据的持久化
成功绕过主流网站的反爬策略(动态渲染、接口加密、行为验证等)
参与过数据清洗与分析项目,输出可视化报告(结合Pandas/Matplotlib)