爬虫框架:精通Scrapy、Requests、Selenium、Pyppeteer,能应对Cookie池、代理IP、验证码识别等常见反爬策略;
· 数据解析:熟练使用XPath、BeautifulSoup、Re、JSONPath,对动态加载数据(Ajax、WebSocket)有丰富处理经验;
· 存储方案:熟悉MySQL、MongoDB、Redis,能根据客户需求设计数据存储结构;
· 前端模拟:掌握JavaScript逆向、接口签名破解,能分析常见加密参数(如Token、Sign);
· 效率工具:擅长使用Fiddler、Charles抓包分析,熟练操作Linux环境部署定时爬虫任务。
爬虫框架:精通Scrapy、Requests、Selenium、Pyppeteer,能应对Cookie池、代理IP、验证码识别等常见反爬策略;
· 数据解析:熟练使用XPath、BeautifulSoup、Re、JSONPath,对动态加载数据(Ajax、WebSocket)有丰富处理经验;
· 存储方案:熟悉MySQL、MongoDB、Redis,能根据客户需求设计数据存储结构;
· 前端模拟:掌握JavaScript逆向、接口签名破解,能分析常见加密参数(如Token、Sign);
· 效率工具:擅长使用Fiddler、Charles抓包分析,熟练操作Linux环境部署定时爬虫任务。