ID:403382
复制
sunset
安全研究员 · 4年经验 · 南京赛宁
0
累计接单
0
用户评价
0
被收藏
技术能力
通过Scrapy+redis实现简易分布式爬虫（学习阶段）
使用XPath/正则表达式解析复杂HTML结构（准确率95%+）
语言：Python（熟练requests/BeautifulSoup）、SQL（基础查询）
工具：Scrapy框架、Selenium动态渲染、Fiddler抓包分析
数据存储：MySQL/MongoDB（CRUD操作）、CSV/Excel
js逆向：hook 常见加密
验证码：滑块验证码，文字验证码
使用XPath/正则表达式解析复杂HTML结构（准确率95%+）
语言：Python（熟练requests/BeautifulSoup）、SQL（基础查询）
工具：Scrapy框架、Selenium动态渲染、Fiddler抓包分析
数据存储：MySQL/MongoDB（CRUD操作）、CSV/Excel
js逆向：hook 常见加密
验证码：滑块验证码，文字验证码
项目经验
电商价格监控爬虫
技术组合：Requests + BeautifulSoup + MySQL
成果：自动抓取某平台5000+商品每日价格，数据异常波动预警（节省手动统计时间80%）
难点解决：突破简单滑块验证码（通过请求延迟模拟）
2. 新闻聚合爬虫
技术组合：Scrapy + MongoDB
成果：日均采集2000篇新闻（标题/摘要/来源），支持关键词过滤
技术组合：Requests + BeautifulSoup + MySQL
成果：自动抓取某平台5000+商品每日价格，数据异常波动预警（节省手动统计时间80%）
难点解决：突破简单滑块验证码（通过请求延迟模拟）
2. 新闻聚合爬虫
技术组合：Scrapy + MongoDB
成果：日均采集2000篇新闻（标题/摘要/来源），支持关键词过滤
立即沟通
