我在本项目担任前端开发工程师,项目中包括导入图谱,对图谱进行节点查询或者关系查询,对相应数据进行增删改查
爬取模块包括采集规则、爬取任务、过程监控三个菜单,该模块主要可以自定义爬虫的基本信息和爬取逻辑,每个网站的爬取可能存在数个爬虫,数个爬虫通过协作的方式完成对某个网站数据爬取。该系统使用协程来完成诸如请求、存储等IO操作,使得爬取速度很快,速度大于多线程爬取速度,并且占用的内存资源
扫码添加客服极速匹配,或直接发布需求让更多人才主动报名
基于 35,336 需求方信任
鼠标悬停或点击上方资质图片,可放大右下角二维码进行扫码验真。