51job招聘信息爬取以及详情页数据采集

基本信息

案例ID:200813

技术顾问:avern - 2年经验 - 惠丰钻石科技股份有限公司

联系沟通

微信扫码,建群沟通

项目名称:51job招聘信息爬取以及详情页数据采集

所属行业:企业服务 - 数据服务

->查看更多案例

案例介绍

项目描述:根据公司需求,爬取 51job 的职位数据,设计反反爬方案。
责任描述:
1. 分析当前网站逻辑,定位采集全站列表页职位数据
2. 分析 js 逻辑,断点调试,解析 cookies 参数。
3.针对网站的反爬措施提供解决方案;
4.使用Xpath,re等技术来定位数据,提取有效内容;
5.使用MongoDB进行信息存储,对异常进行相应处理。

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服