ID:281247

Andy

爬虫工程师

  • 公司信息:
  • 自己创业
  • 工作经验:
  • 1年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 可工作日驻场(自由职业原因)
  • 所在区域:
  • 上海
  • 虹口

技术能力

熟练掌握Python的Scrapy爬虫框架;
掌握反爬和混淆对抗技巧;
有MongoDB等数据库的使用经验;
熟悉numpy,pandas,jupyterlab等Python数据处理工具;
熟悉GIS、RS常用工具和技术,有遥感影像处理经验。

项目经验

1.通过云服务器使用Python定时爬取水文网站多个观测点的数据,并在失败时发出警告邮件。
2.使用Scrapy克隆了某图片网站,并将网站挂载到本地离线使用。
3.爬取专利数据和论文数据供研究使用。
4.使用ENVI、ArcGIS二次开发自己建立了数据处理分析系统。

案例展示

  • 上海学区房数据爬取

    上海学区房数据爬取

    分析上海学区房微信小程序接口,批量获取各学校学区范围,格式为GeoJson;并将获取的数据与小区位置信息相结合,所得信息作为研究政策变化的参考。

  • 福建省海洋预报台网页数据监测爬取

    福建省海洋预报台网页数据监测爬取

    分析福建省海洋预报台网站公开数据的接口,爬取各预报站点的物理、化学监测数据,并部署到云服务器实现每日定时抓取。

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服