ID:426353

科尔沁雄鹰

数据开发

  • 公司信息:
  • 奇虎360
  • 工作经验:
  • 14年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 可工作日远程
  • 所在区域:
  • 北京
  • 朝阳

技术能力

熟练使用 Python 开展网络爬虫开发,精通 requests、BeautifulSoup、Selenium、XPath 等主流爬虫库,能够解析静态与动态网页数据。掌握正则表达式、Json 数据提取,可实现多页面循环抓取、分页数据采集。熟悉反爬应对策略,合理运用请求头、代理 IP、延时请求、Cookie 模拟等方式规避访问限制。能够将爬取数据清洗整理,存储至 CSV、MySQL 数据库。具备基础异步爬虫思路,了解 aiohttp 使用;严格遵守网站 robots 协议,规范合法采集公开数据。擅长根据需求设计爬虫流程,定位页面元素,排查页面加载、接口加密等常见问题,高效完成信息采集、数据整理工作。

项目经验

1、某鱼主播图片采集保存。
2、某点众筹项目评论数据采集。
3、某易云音乐评论数据采集
基于 Python 实现网页数据爬虫,运用 requests、BeautifulSoup 解析页面,通过请求头、延时策略应对基础反爬。完成数据清洗,将结果存入 CSV 文件或者保存成图片文件,规范遵循爬虫协议,稳定抓取目标公开信息。

案例展示

  • 某点众筹项目评论数据采集

    某点众筹项目评论数据采集

    1、使用requests框架访问项目。 2、给headers添加user-agent和js逆向来生成的sign,来保证请求的正常访问。 3、使用休眠的方式,防止过度频繁访问,导致ip封号等。

  • 某易云音乐评论数据采集

    某易云音乐评论数据采集

    1、使用requests框架来访问某易云音乐的评论数据 2、给headers添加了user-agent和cookie信息。 3、评论区的翻页是做了AES加密的,使用python来调用js代码,生成符合平台要求的params和key 4、每次访问以后,休眠5秒,防止访问频率过

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服