作品名称:小红书笔记评论采集工具
项目背景:客户需要收集指定小红书笔记下的所有用户评论,用于舆情分析或产品反馈研究。
技术难点:
小红书页面为动态加载,滚动触发新评论出现。
传统requests无法直接获取渲染后的内容,需模拟浏览器。
解决方案:
使用DrissionPage控制浏览器,自动滚动至底部加载全部评论。
通过滚动高度对比判断是否已加载完毕,避免无限滚动。
将获取的数据保存为CSV,便于客户进一步分析。
成果:单次采集可获取500-2000条去重评论,运行稳定,交付代码及使用文档。