基本信息

案例ID:205116

技术顾问:pop - 10年经验 - 新点软件

联系沟通

微信扫码,建群沟通

项目名称:爬虫框架

所属行业:企业服务 - 数据服务

->查看更多案例

案例介绍

技术选型:
爬虫框架:Scrapy 开发爬虫项目,具备多线程、分布式能力
爬虫部署容器:Scrapyd 爬虫发布运行的容器,运行爬虫、远程控制、队列数据
爬虫可视化管理服务:Gerapy、ScrapydWeb 管理、调度、打包、发布、监控、统计的web,Gerapy无监控和统计,ScrapydWeb通过LogParser解析日志实现监控统计
日志解析服务:LogParser 解析日志统计
网页代理渲染插件:scrapy-splash (可选)模拟浏览器渲染网页得到最终呈现数据,少写代码,效率低

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服