小 Sb

爬虫工程师
自由职业者 · 2年经验
小 Sb
日薪: ¥500/8h
地点: 南京 全区
时间: 可工作日驻场(自由职业原因)
有团队 · 可整包 ID:173308 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | 分布式 Redis Python MySQL MongoDB Oracle Docker Ajax
熟悉Python脚本语言的使用,Ajax和js标记语言原理,pyppeteer+pyquery抓取抽离原理,主要抓取js,MySQL SQLServer Oracle MongoDB Redis等数据库原理,多线程多进程爬虫开发原理,tesserocr识别验证码原理,反爬虫破解的各种手段,App WireShark Filddler Charles AnyProxy等抓包软件和Airtest自动化控制,Scrapy框架架构原理和使用,Scrapy-Splash,Scrapy-Redis,Docker容器,Scrapyd分布式爬虫部署,Scrapyd-Client,Scrapyd-API,Scrapyrt和Gerapy分布式爬虫系统管理库的使用。

1,抓取爱奇艺VIP视频 2019年08月04日 - 2019年08月08日
项目描述 爱奇艺的VIP视频只能会员能看,普通用户只能看前6分钟。我们免费看VIP视频可以通过旋风视频VIP解析网站。首先网站提供了在线解析视频的功能,没有下载接口,要利用网络爬虫来完成,然后使用Fiddler抓包软件出现网页执行了POST请求,在抓包过程中可以看到POST请求的参数和返回json格式的数据,得到视频的缓存地址然后开始写代码。
我的职责 用网络爬虫Fiddler抓包软件下载视频。用正则表达式匹配key,time,url等信息,根据匹配到的信息发POST请求,获得一个存放视频信息的url,根据url获得视频存放的地址根据最终视频地址下载视频。
2,制作网易云音乐下载器 2019年08月08日 - 2019年08月09日
项目描述 主要思路目的:制作简单的网易云音乐下载器。功能:根据提示输入歌曲名后下载该歌曲。下载的歌曲数量不大于9首。选取方式为搜索结果的前9首歌曲。若搜索结果不足9首则全部下载。具体思路详见源代码,要用到requests和pycrypto。

整包服务: 微信公众号开发微信小程序开发PC网站开发H5网站开发App开发WebApp开发文档原型图其他开发
负责人: 爬虫工程师
团队成员: 后端工程师 
小 Sb ID:173308 复制

小 Sb

有团队 · 可整包
爬虫工程师 · 2年经验 · 自由职业者
城市南京 全区 日薪500元/8h 时间 可工作日驻场(自由职业原因)
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | 分布式 Redis Python MySQL MongoDB Oracle Docker Ajax
熟悉Python脚本语言的使用,Ajax和js标记语言原理,pyppeteer+pyquery抓取抽离原理,主要抓取js,MySQL SQLServer Oracle MongoDB Redis等数据库原理,多线程多进程爬虫开发原理,tesserocr识别验证码原理,反爬虫破解的各种手段,App WireShark Filddler Charles AnyProxy等抓包软件和Airtest自动化控制,Scrapy框架架构原理和使用,Scrapy-Splash,Scrapy-Redis,Docker容器,Scrapyd分布式爬虫部署,Scrapyd-Client,Scrapyd-API,Scrapyrt和Gerapy分布式爬虫系统管理库的使用。

项目经验

1,抓取爱奇艺VIP视频 2019年08月04日 - 2019年08月08日
项目描述 爱奇艺的VIP视频只能会员能看,普通用户只能看前6分钟。我们免费看VIP视频可以通过旋风视频VIP解析网站。首先网站提供了在线解析视频的功能,没有下载接口,要利用网络爬虫来完成,然后使用Fiddler抓包软件出现网页执行了POST请求,在抓包过程中可以看到POST请求的参数和返回json格式的数据,得到视频的缓存地址然后开始写代码。
我的职责 用网络爬虫Fiddler抓包软件下载视频。用正则表达式匹配key,time,url等信息,根据匹配到的信息发POST请求,获得一个存放视频信息的url,根据url获得视频存放的地址根据最终视频地址下载视频。
2,制作网易云音乐下载器 2019年08月08日 - 2019年08月09日
项目描述 主要思路目的:制作简单的网易云音乐下载器。功能:根据提示输入歌曲名后下载该歌曲。下载的歌曲数量不大于9首。选取方式为搜索结果的前9首歌曲。若搜索结果不足9首则全部下载。具体思路详见源代码,要用到requests和pycrypto。

团队情况

服务范围:
微信公众号开发微信小程序开发PC网站开发H5网站开发App开发WebApp开发文档原型图其他开发
团队构成:
负责人(爬虫工程师) | 核心队员:后端工程师
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏