ID:284767

小勇哥 身份已认证

软件开发工程师

  • 公司信息:
  • 华为技术有限公司
  • 工作经验:
  • 6年
  • 兼职日薪:
  • 500元/8小时
  • 兼职时间:
  • 可工作日远程
  • 所在区域:
  • 西安
  • 全区

技术能力

1.具有数据平台相关开发经验,熟练掌握Python语言,熟悉数据库与常见缓存技术与策略;
2.精通网页抓取原理及技术,熟练从结构化和非结构化的数据中获取信息;
4.熟悉urllib、requests、beautifulsoup、selenium等模块的使用;
3.熟悉MySQL、MongoDB、Redis等数据库的基本使用;
4.熟悉反爬虫(Headers限制、IP限制、cookie限制、动态网页渲染),验证码识别技术等;
5.熟练使用fiddler、charles、mitmproxy等抓包工具;
6.对Flask、Django等常用开源框架有一定了解或使用;
7.熟悉Scrapy爬虫框架下的开发和使用;

项目经验

1、用 Python 抓取公号文章保存成 PDF;
2、豆瓣电影数据爬取;
3、当当网书籍信息爬取;
4、CSS位置偏移反扒案例分析及爬取;
5、IP代理反扒案例爬取;
6、基于Session和Cookie的模拟登陆爬取;

案例展示

  • 爬取公众号文章下载并转换成PDF

    爬取公众号文章下载并转换成PDF

    作品思路:利用 Fiddler 抓包获取请求和返回报文,然后通过报文模拟请求实现批量下载。 1、登陆电脑端微信(微信版本需要在2.9.5及以下); 2、在微信公众号上请求公众号的历史文章; 3、微信端向服务端请求并返回数据; 4、Fiddler 抓包获取请求和返回报文;

  • 获取评分TOP100的电影保存下来慢慢看

    获取评分TOP100的电影保存下来慢慢看

    1、分析网址 首先我们观察下豆瓣电影 top 250 的网址变化后会发现,top 250 共计分为 10 页,每一页 25 条记录,网址https://movie.douban.com/top250?start={start}&filter= 其中 start 从 0

查看案例列表(含更多 0 个案例)

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系聘用方端客服
联系聘用方端客服