封装了4个api接口: 1. 爬取单链接: api接口:http://127.0.0.1:5000/api/v2/single/link 默认:{ url_type: single, max_depth: 0 } 用户传入 post请求 start_url 2. 根据链接下的子链接:http://127.0.0.1:5000/api/v2/single/links 默认:{ url_type: single, max_depth: 1 } 用户传入 start_url, 要想爬取更多的子链接 max_depth: 可相应修改 3. 根据链接:http://127.0.0.
数据同步 同步aws 的s3文档,实时转成PDF并上传到astra DB 用户上传文件(txt,pdf,doc,excel等)到s3,实时使用nifi读取到本地,再进行监控转成pdf,上传到astra DB
封装了4个api接口: 1. 爬取单链接: api接口:http://127.0.0.1:5000/api/v2/single/link 默认:{ url_type: single, max_depth: 0 } 用户传入 post请求 start_url 2. 根据链接下的子链接:http://127.0.0.1:5000/api/v2/single/links 默认:{ url_type: single, max_depth: 1 } 用户传入 start_url, 要想爬取更多的子链接 max_depth: 可相应修改 3. 根据链接:http://127.0.0....
数据同步 同步aws 的s3文档,实时转成PDF并上传到astra DB 用户上传文件(txt,pdf,doc,excel等)到s3,实时使用nifi读取到本地,再进行监控转成pdf,上传到astra DB...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人