需求描述
一、项目背景
需要采集目标网站的公开信息,用于行业调研分析
二、需要开发的功能
1. 访问【填写目标网址】,自动遍历分页,抓取指定字段:【例:标题、发布时间、价格、公司名称】
2. 数据清洗、自动去重,剔除无效脏数据
3. 结果导出为Excel / CSV,也可入库MySQL(按需二选一)
4. 处理基础反爬:UA轮换、请求间隔控制,遇到IP封禁要有对应方案
5. 交付完整可运行源码,附带使用说明,本地可反复运行
三、技术要求
优先Python,熟悉Requests / Selenium / Scrapy,了解网页动态渲染、接口抓包,能处理JS渲染页面。
四、时间要求
3~7天完成开发调试,交付后提供短期bug修复】