Python爬虫集群

企业服务 安全服务 案例ID：217304
阿白
2 年经验· 桐文科技
微信扫码沟通，客服可协助直接对接工程师；如当前档期不合，也可继续推荐相似案例作者。

案例介绍

使用Python开发部署在云端的搜索引擎级爬虫，实现上百台服务器每台服务器多线程同时爬取，爬取结果通过Python处理后存放在elasticsearch中，用户访问爬取数据时，通过web访问到php后端返回数据

案例图片

共 2 张
Python爬虫集群 Python爬虫集群
查看该工程师的更多案例 >

相似案例推荐

高可用性开发
高可用性开发
设备冗余。可以进行系统切换，避免业务中断，避免刷视频的过程丢
网络网关
网络网关
可以根据页面进行操作网络的转发已经端口的映射。并基于内核进行
网页
网页
web网页作品。本人在作品中负责前端页面绘制、后端接口编写、
网页
网页
web网页作品。本人在作品中负责前端页面绘制、后端接口编写、
船载监控系统
船载监控系统
宁波大榭众联股份有限公司船载监控系统 前端开发工程师 2
船载监控系统
船载监控系统
宁波大榭众联股份有限公司船载监控系统 前端开发工程师 2

Python爬虫集群

企业服务 · 安全服务 案例ID：217304
联系该工程师
微信扫码，建群沟通
作者： 阿白 - 2年经验- 桐文科技

案例介绍

使用Python开发部署在云端的搜索引擎级爬虫，实现上百台服务器每台服务器多线程同时爬取，爬取结果通过Python处理后存放在elasticsearch中，用户访问爬取数据时，通过web访问到php后端返回数据

案例图片

Python爬虫集群

Python爬虫集群

查看该工程师的更多案例

相似案例推荐

  • 高可用性开发

    高可用性开发

    设备冗余。可以进行系统切换，避免业务中断，避免刷视频的过程丢

  • 网络网关

    网络网关

    可以根据页面进行操作网络的转发已经端口的映射。并基于内核进行

  • 网页

    网页

    web网页作品。本人在作品中负责前端页面绘制、后端接口编写、

  • 网页

    网页

    web网页作品。本人在作品中负责前端页面绘制、后端接口编写、

  • 船载监控系统

    船载监控系统

    宁波大榭众联股份有限公司船载监控系统 前端开发工程师 2

  • 船载监控系统

    船载监控系统

    宁波大榭众联股份有限公司船载监控系统 前端开发工程师 2

发布任务

企业点击发布任务，工程师会在任务下报名，招聘专员也会在 1 小时内与您联系确认。
点击发布任务

1小时精推人才

需求方专属客服，免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了？客服帮你 1 小时对接沟通 → ×