森林

爬虫工程师
有乐联盟 · 3年经验
森林
日薪: ¥900/8h
地点: 其他 全区
时间: 可工作日远程
ID:402822 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Selenium HTTP Ajax
① 了解什么是HASH,会简单地使用MD5,SHA1等算法对数据进行HASH一遍存储
②熟悉HTTP,HTTPS协议的基础知识,了解GET,POST方法,了解HTTP头中的信息,包括返回状态码,编码,user-agent,cookie,session等
③ 能设置user-agent进行数据爬取,设置代理等
④知道什么是Request,什么是response,会使用Fiddler等工具抓取及分析简单地网络数据包;
⑤对于动态爬虫,要学会分析ajax请求,模拟制造post数据包请求,抓取客户端session等信息,对于一些简单的网站,能够通过模拟数据包进行自动登录。
⑥ 对于一些难搞定的网站学会使用phantomjs+selenium抓取一些动态网页信息
⑦并发下载,通过并行下载加速数据爬取;多线程的使用。

2)【中级爬虫工程师】

① 了解什么是HASH,会简单地使用MD5,SHA1等算法对数据进行HASH一遍存储
②熟悉HTTP,HTTPS协议的基础知识,了解GET,POST方法,了解HTTP头中的信息,包括返回状态码,编码,user-agent,cookie,session等
③ 能设置user-agent进行数据爬取,设置代理等
④知道什么是Request,什么是response,会使用Fiddler等工具抓取及分析简单地网络数据包;
⑤对于动态爬虫,要学会分析ajax请求,模拟制造post数据包请求,抓取客户端session等信息,对于一些简单的网站,能够通过模拟数据包进行自动登录。
⑥ 对于一些难搞定的网站学会使用phantomjs+selenium抓取一些动态网页信息
⑦并发下载,通过并行下载加速数据爬取;多线程的使用。
森林 ID:402822 复制

森林

爬虫工程师 · 3年经验 · 有乐联盟
城市其他 全区 日薪900元/8h 时间 可工作日远程
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Selenium HTTP Ajax
① 了解什么是HASH,会简单地使用MD5,SHA1等算法对数据进行HASH一遍存储
②熟悉HTTP,HTTPS协议的基础知识,了解GET,POST方法,了解HTTP头中的信息,包括返回状态码,编码,user-agent,cookie,session等
③ 能设置user-agent进行数据爬取,设置代理等
④知道什么是Request,什么是response,会使用Fiddler等工具抓取及分析简单地网络数据包;
⑤对于动态爬虫,要学会分析ajax请求,模拟制造post数据包请求,抓取客户端session等信息,对于一些简单的网站,能够通过模拟数据包进行自动登录。
⑥ 对于一些难搞定的网站学会使用phantomjs+selenium抓取一些动态网页信息
⑦并发下载,通过并行下载加速数据爬取;多线程的使用。

项目经验

2)【中级爬虫工程师】

① 了解什么是HASH,会简单地使用MD5,SHA1等算法对数据进行HASH一遍存储
②熟悉HTTP,HTTPS协议的基础知识,了解GET,POST方法,了解HTTP头中的信息,包括返回状态码,编码,user-agent,cookie,session等
③ 能设置user-agent进行数据爬取,设置代理等
④知道什么是Request,什么是response,会使用Fiddler等工具抓取及分析简单地网络数据包;
⑤对于动态爬虫,要学会分析ajax请求,模拟制造post数据包请求,抓取客户端session等信息,对于一些简单的网站,能够通过模拟数据包进行自动登录。
⑥ 对于一些难搞定的网站学会使用phantomjs+selenium抓取一些动态网页信息
⑦并发下载,通过并行下载加速数据爬取;多线程的使用。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏