1. 分析各个网站的结构,对各个网站做出预估时间。
2. 做出对反爬相应的措施,js逆向,验证码破解,自动更换ip等。
3. 抓取字段,对字段进行处理,并入库。
4. 自制一个小框架用于统一调度数据库,以及爬虫项目启动。
5. 项目定时启动自动爬取数据,分析数据,清洗数据。
6. 将清洗好的项目存入数据库。
需求方专属客服,免费梳理匹配
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如当前档期不合,也可免费为您推荐相似案例作者