某自媒体工作室需批量获取特定题材小说原文（用于情节拆解、风格分析）及配套创意素材（含场景描写、人物对话、意象词汇等），人工采集效率低下且无法满足周均 50 + 本小说、10 万 + 条素材的需求，遂委托开发定制化爬取解决方案。​
技术栈​
Python（Scrapy 框架）、反爬处理（User-Agent 池、IP 代理池、动态 Cookie 模拟）、数据清洗（Pandas）、小程序可视化（UniApp + 云开发）、MySQL 数据库​
核心职责与实现过程​
需求拆解与方案设计：深入沟通明确工作室需求 —— 小说需按题材（悬疑、古风、都市）分类爬取，支持章节完整性校验；素材需提取 “场景描写”“人物心理”“比喻修辞” 等 6 类标签，且需过滤重复内容。针对 3 个目标网站的反爬策略（动态 JS 渲染、访问频率限制、登录验证），设计 “多线程分布式爬取 + 分层反爬” 架构，避免单点失效。​
小说爬取模块开发：基于 Scrapy 构建爬虫核心，通过 Selenium 模拟浏览器渲染，破解动态加载的章节内容；搭建包含 200+User-Agent 的随机池，结合高匿 IP 代理池（有效率 92%），规避 IP 封禁；编写章节去重算法，通过 “标题 + 内容特征值” 双重校验，确保爬取完整度达 99.5%。针对部分网站的登录墙，开发自动识别验证码（Tesseract-OCR）+ 模拟登录脚本，实现无人值守爬取。​
素材智能提取与清洗：利用正则表达式与自然语言处理（jieba 分词 + 关键词权重计算），从爬取的小说文本中提取目标素材；通过 Pandas 进行数据去重、格式标准化（统一为 “标签 + 内容 + 来源章节” 结构），并同步至 MySQL 数据库，支持按标签、题材快速检索。​
项目成果​
效率提升：将原本人工 1 周的采集量缩短至 2 小时，周均处理 50 + 本小说、12 万 + 条素材，满足工作室日常创作需求；​
易用性优化：小程序降低使用门槛，非技术人员可独立完成素材检索、任务配置，大幅减少沟通成本；​
可扩展性：系统支持新增目标网站、自定义素材标签，后续已适配 3 个新增小说平台，持续为工作室提供服务。