独立开发了一个针对某主流电商平台的商品评论爬虫。该网站采用动态加载且具有简单的反爬机制(如请求频率限制、偶尔出现的滑块验证)。我通过抓包分析定位到评论数据接口,利用 requests 模拟请求并动态添加 cookies 和 headers,结合 time.sleep 随机间隔规避频率检测。同时,引入ddddocr本地识别滑块缺口坐标,配合Selenium模拟人工滑动,成功通过验证。共采集超过10万条评论数据,并利用 pandas 进行清洗、去重,最后存入 MongoDB。在此基础上,调用百度情感分析API对评论文本进行情感倾向判断,将结果以可视化图表(pyecharts)呈现,帮助客户快速了解产品口碑。该项目交付稳定运行3个月,未出现封IP或数据中断。