ID:188140

玉米 有团队

高级爬虫工程师

  • 公司信息:
  • 融360
  • 工作经验:
  • 4年
  • 兼职日薪:
  • 1200元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 可工作日远程
  • 所在区域:
  • 西安
  • 全区

技术能力

 负责网银、征信、个税项目数据的爬取、解析和存储工作。
 研究银行网站封禁策略,并突破。
 对接第三方公司,提供各种数据接口服务。
熟悉:selenium,webdriver,java,Rediss,qconf,zookeeper,Hbase

项目经验

 负责借记卡、信用卡项目数据的爬取以及解析工作,网银项目架构可拆分为分发调度端、采集端和解析端三个模块。分发调度采用JAVA代码,负责任务的调度下发和外部机构的对接;采集端采用Java代码,使用开源selenium技术进行模拟登录,然后获取cookie使用http请求并发抓取页面并解析;存储模块使用php语言,使用Mysql和Hbase大数据存储采集到的信息。目前采集代码包含80家银行,每天爬取数据达30万左右的用户数据,为风控部门做决策提供数据支撑。使用到的技术有Rediss,qconf,zookeeper,Hbase,KB监控。
 研究银行网站封禁策略,并突破封禁。研究各网站的封禁策略,包括各种验证码,Cookie加密,银行安全控件检测,IP封禁,MAC封禁等策略。
 为了实时监控各个方向数据情况,维护系统稳定性,开发了一套全流程监控系统,可监控从用户授权,采集过程,入库情况,机构回调的完整流程,及时发现问题,通过短信邮件方式通知负责人。项目主要由数据收集模块和报警模块组成,数据收集主要负责通过API接口收集各项数据指标,并存储到ES(ElasticSearch)集群;报警模块负责从ES取数据指标,根据规则判断业务是否需要报警。

团队情况

  • 整包服务: 其他开发   
角色 职位
负责人 高级爬虫工程师
队员 后端工程师

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服