基本信息

案例ID:203308

技术顾问:小王大人 - 1年经验 - 杭州盛世传奇标识系统有限公司

联系沟通

微信扫码,建群沟通

项目名称:四库一平台数据爬取

所属行业:人工智能 - 其他

->查看更多案例

案例介绍

返回的headers会多一个accessToken,而这个参数就是点击验证码以后返回的参数,所以当去请求详情页的时候必须要带上这个accessToken才会返回正确的请求内容,而好多人都是卡在了这个地方,这里我用了两种方式进行解决的,一开始考虑使用自动化浏览器去进行点击,然后将验证码发送给第三方,返回坐标值之后再进行验证码的点击,这种方式就是导致时间长,因为需要截图,发送给第三方,返回坐标值,进行点击,然后才会返回正确的accessToken。导致没法高并发,而且因为是进行验证码的坐标点击,有的时候识别率还是很低的,而且四库一平台的网站会进行ip的封禁,如果在使用自动化浏览器的时候携带上代理就会导致访问的详情页总是重定向至首页,所有第一个方法就pass了。

第二种验证码的破解,是专门围绕着极验去破解的,其实极验验证码会有两个参数,一个是challenge,另外一个是validate,其实破解这两个参数的话,就会直接返回accessToken这个参数,这样就可以使你的爬虫程序进行高并发,而且相比于第一种方法就更稳定,但是破解验证码的时候有一个小坑是关于使用代理的地方。这个网站爬取所有的请求url都需要加上代理,可是代理使用错误就会返回401。

相似案例推荐

其他人才的相似案例推荐

  • 大屏展示

    大屏展示

    大屏展示端,通过可视化来展示负责数据,更直观美观的展示数据的

  • 智能搜索

    智能搜索

    该系统旨在对整个系统中的文档,图片,采集的网页,视频,音频等

  • 使用yolov5完成的实时骑行目标检测

    使用yolov5完成的实时骑行目标检测

    关键词:目标检测,图像处理,神经网络,深度学习,人工智能,Y

  • 自动售货机管理后台

    自动售货机管理后台

    自动售货机,格子柜,纸巾机,支付宝,微信,支付后出货 自动

  • llm知识库

    llm知识库

    LLM知识库 项目描述: LLM知识库是一款专门为企业

  • 广东中行非现场监管

    广东中行非现场监管

    负责大数据平台系统规划、建设、管理;各个大数据组件分布式部署

  • 数据分析

    数据分析

    使用时间序列模型arima、arimax、lstm以及神经网

  • 志和平台

    志和平台

    项目描述: 工程咨询管理平台应用于建筑公司,涉及客户,投标,

  • milm智能助手

    milm智能助手

    明眸(MILM )是面向领域场景的大语言模型及配套的应用框架

  • 喂AI(PC端)

    喂AI(PC端)

    AI绘画功能主要提供:智能创造、问生图、图生图。可用于创意和

  • 监控系统

    监控系统

    根据客户需要,自己设计UI界面,对下位机进行管理,1.监控P

  • 智能种植系统_PC软件

    智能种植系统_PC软件

    为智能菌菇种植放舱的衍生系统,通过控制方舱温度、湿度、灯光等

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服