ID：402822
森林
爬虫工程师
- 公司信息：
- 有乐联盟
- 工作经验：
- 3年
- 兼职日薪：
- 900元/8小时
- 兼职时间：
- 可工作日远程
- 所在区域：
- 其他
- 全区
技术能力
① 了解什么是HASH，会简单地使用MD5，SHA1等算法对数据进行HASH一遍存储
②熟悉HTTP，HTTPS协议的基础知识，了解GET，POST方法，了解HTTP头中的信息，包括返回状态码，编码，user-agent，cookie，session等
③ 能设置user-agent进行数据爬取，设置代理等
④知道什么是Request，什么是response，会使用Fiddler等工具抓取及分析简单地网络数据包；
⑤对于动态爬虫，要学会分析ajax请求，模拟制造post数据包请求，抓取客户端session等信息，对于一些简单的网站，能够通过模拟数据包进行自动登录。
⑥ 对于一些难搞定的网站学会使用phantomjs+selenium抓取一些动态网页信息
⑦并发下载，通过并行下载加速数据爬取；多线程的使用。
项目经验
2）【中级爬虫工程师】
① 了解什么是HASH，会简单地使用MD5，SHA1等算法对数据进行HASH一遍存储
②熟悉HTTP，HTTPS协议的基础知识，了解GET，POST方法，了解HTTP头中的信息，包括返回状态码，编码，user-agent，cookie，session等
③ 能设置user-agent进行数据爬取，设置代理等
④知道什么是Request，什么是response，会使用Fiddler等工具抓取及分析简单地网络数据包；
⑤对于动态爬虫，要学会分析ajax请求，模拟制造post数据包请求，抓取客户端session等信息，对于一些简单的网站，能够通过模拟数据包进行自动登录。
⑥ 对于一些难搞定的网站学会使用phantomjs+selenium抓取一些动态网页信息
⑦并发下载，通过并行下载加速数据爬取；多线程的使用。
相似人才推荐
-
500元/天程序编辑工程师PZ概要：我是一名专注于网络安全与人工智能技术的开发者，擅长使用Python构建高效的安全工具和智能解决方案。
-
900元/天测试架构师，测试总监平安一账通概要：测试架构 1.全栈测试设计：覆盖白盒/接口/性能/安全/业务测试，精通微服务 & 云原生测
-
1000元/天QA鹅/宇宙概要：各种软件功能测试 / 软件测试工具开发 / 软件测试自动化 / 压力测试 / 压力测试脚本 / 各种
-
500元/天测试工程师/产品经理亚信科技（中国）有限公司概要：1、12年互联网从业经验，熟悉产品从零到运营的整个周期和工作流程； 2、熟练使用 Word、Exc -
500元/天无无概要：浏览器搜索，我目前没有任何专业技术能力，对编程语言（如Python、Java）、设计工具（如Phot
-
500元/天中级测试工程师易居概要：技能证书：高级大数据分析师，JAVA 三级，ISTQB 专业技能： 1、练使用 JMeter、P
-
800元/天高级软件测试工程师广州易星科技概要：1.熟悉使用 MySQL，Oracle数据库常用软件； 2.熟练使用Linux命令； 3.使用J
-
600元/天测试经理某钢铁集团、某石化集团概要：擅长测试全流程质量把控和各阶段风险控制； 善于测试流程的持续优化，构建稳定的质量保障体系，提升项目
