ID：150756
雨夜 身份已认证
爬虫工程师
- 公司信息：
- 广州大麦信息科技有限公司
- 工作经验：
- 3年
- 兼职日薪：
- 600元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 广州
- 越秀
技术能力
1. 熟练使用scrapy编写爬虫程序，熟悉国外中大型电商网站海量数据爬取，能够充分利用代 理ip资源进行高效爬取
2. 熟练构建分布式爬虫，增量爬虫、多线程爬虫、Linux下的定时启动爬虫
3. 掌握基本的数据结构与算法
4. 熟悉各个网站常见反爬策略，能根据网页分析出常见反爬手段
5. 熟悉从结构化与非结构化网页中提取所需内容
6. 熟悉html/csss/js，能简单使用bootstrap,vue搭建页面，可以通过前端代码分析目标网站 真实request地址和response内容
7. 熟练使用 PyV8,JS2PY 或直接手写 python 代码去解析 JS 代码
8.熟悉nodejs和puppeteer框架开发
8. 熟悉主流的验证码识别技术(tesseract、selenium+pillow、第三方打码平台)
项目经验
使用技术：
1. 使用Scrapy_Redis搭建分布式爬虫框架
2. 使用 Re+XPath+Jsopath提取数据
3. 使用js2py或者pyv8来执行js相关代码，获取数据。
4. js环境比较复杂，无法完全找到js包，那么可以使用selenium配合浏览器，使用driver执行js代码，获取相关数据
5. 使用 Selenium+Headless Chrome无头浏览器爬取页面数据
6. 使用nodejs实现淘宝的自动登录
7. 使用elasticsearch保存数据 便于搜索查询数据
项目一：淘宝系网站相关爬虫
爬取阿里系的各类商家服务网站的数据，需要商家的账号登录。
项目二：淘宝自动登录
使用puppeteer进行自动登录操作，批量登录淘宝商家账号，并获取淘宝商家后台、直通车、钻展、超级推荐等网站的登录信息，为数据爬取提供支持
相似人才推荐
-
500元/天RTOS,ucos,CAN,STM32,STM8,51上海松江区概要：(1) 熟练使用RTOS、uCOS-II进行嵌入式多任务开发； (2) 使用C语言或汇编语言设计产 -
500元/天数据通信工程师西安通信段概要：1.培训过HCNP-R&S认证，熟练掌握华为、新华三企业网络设备的调测，可以独立完成对企业网
-
700元/天大数据开发工程师联通概要：1、熟练使用Scala、Java等开发语言 2、熟练Linux操作命令，能编写常用shell脚本
-
800元/天全栈开发工程师深圳市迅享科技有限公司概要：PHP 1、熟悉PHP的OOP思想，PSR规范，了解常用设计模式。 2、掌握MVC模式设
-
2000元/天全栈工程师凡威互动概要：Fi（凡威创新）CEO 北京大学学士 Standford MS&E + Cli
-
500元/天测试工程师软通动力概要：熟悉测试流程和理论知识能够完成测试用例设计，性能测试，接口测试，自动化测试脚本开发及维护，熟练使用j -
1800元/天CTO东莞楚轩软件科技有限公司概要：JAVA、区块链、Flutter、shell、CDH、spark、hadoop、h5、css3、vu
-
1000元/天网络安全专家浪潮集团概要：具备等保测评中级测评师 具有Security+认证证书 熟悉Python编程语言，可单独开发必要
