link_crawl

企业服务 数据服务 案例ID:217667
1 年经验· 福建江夏学院
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

封装了4个api接口:
1. 爬取单链接: api接口:http://127.0.0.1:5000/api/v2/single/link
默认:{ url_type: single, max_depth: 0 }
用户传入 post请求 start_url

2. 根据链接下的子链接:http://127.0.0.1:5000/api/v2/single/links
默认:{ url_type: single, max_depth: 1 }
用户传入 start_url, 要想爬取更多的子链接 max_depth: 可相应修改

3. 根据链接:http://127.0.0.1:5000/api/v2/multiple/links
默认:{ url_type: multiple, max_depth: 0 }
用户输入 start_urls 列表["",""]

4. 根据链接及其子链接:http://127.0.0.1:5000/api/v2/multiple/slinks
默认:{ url_type: multiple, max_depth: 1 }
用户输入 start_urls 列表,要想爬取更多的子链接 max_depth: 可相应修改
------------------------------------------------------------------------------------------------------------------------
总之一句话,爬取任意链接的文本信息(单/多,子链接),并已经封装成了api接口,你部署到云服务器上,就可以一直使用了

link_crawl

企业服务 · 数据服务 案例ID:217667
联系该工程师
微信扫码,建群沟通
作者: - 1年经验- 福建江夏学院

案例介绍

封装了4个api接口:
1. 爬取单链接: api接口:http://127.0.0.1:5000/api/v2/single/link
默认:{ url_type: single, max_depth: 0 }
用户传入 post请求 start_url

2. 根据链接下的子链接:http://127.0.0.1:5000/api/v2/single/links
默认:{ url_type: single, max_depth: 1 }
用户传入 start_url, 要想爬取更多的子链接 max_depth: 可相应修改

3. 根据链接:http://127.0.0.1:5000/api/v2/multiple/links
默认:{ url_type: multiple, max_depth: 0 }
用户输入 start_urls 列表["",""]

4. 根据链接及其子链接:http://127.0.0.1:5000/api/v2/multiple/slinks
默认:{ url_type: multiple, max_depth: 1 }
用户输入 start_urls 列表,要想爬取更多的子链接 max_depth: 可相应修改
------------------------------------------------------------------------------------------------------------------------
总之一句话,爬取任意链接的文本信息(单/多,子链接),并已经封装成了api接口,你部署到云服务器上,就可以一直使用了

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×