zq
爬虫工程师 · 9年经验 · 重庆今有鱼责任有限公司
0
累计接单
0
用户评价
1
被收藏
技术能力
1、熟悉python、熟练运用scrapy框架
2、熟悉javascript，能进行js逆向工程
3、熟练运用docker进行分布式爬虫部署
4、精通玩也抓取原理及技术细节，精通xpath，css，正则表达式，从结构化的和非结构化的数据中获取信息，对网页抓取、信息抽取、去重、清洁、匹配经验丰富
5、熟悉mongodb，mysql数据库
2、熟悉javascript，能进行js逆向工程
3、熟练运用docker进行分布式爬虫部署
4、精通玩也抓取原理及技术细节，精通xpath，css，正则表达式，从结构化的和非结构化的数据中获取信息，对网页抓取、信息抽取、去重、清洁、匹配经验丰富
5、熟悉mongodb，mysql数据库
项目经验
1、运用伪分布式爬虫，爬取了京东所有商品信息。
2、运用代理池，cookie池，爬取了智联招聘所有招聘信息
3、运用js逆向技术，实现了企业信用系统的自动登录
4、运用js逆向技术，实现了美团登录的关键参数的逆向工作
2、运用代理池，cookie池，爬取了智联招聘所有招聘信息
3、运用js逆向技术，实现了企业信用系统的自动登录
4、运用js逆向技术，实现了美团登录的关键参数的逆向工作
立即沟通
