雨夜
爬虫工程师
广州大麦信息科技有限公司 · 3年经验
日薪：
￥600/8h
地点：
广州 越秀
时间：
下班后周六周日
信用行为
2
接单数
2
评价数
5
收藏数
100%
五星率
技术能力
1. 熟练使用scrapy编写爬虫程序，熟悉国外中大型电商网站海量数据爬取，能够充分利用代 理ip资源进行高效爬取
2. 熟练构建分布式爬虫，增量爬虫、多线程爬虫、Linux下的定时启动爬虫
3. 掌握基本的数据结构与算法
4. 熟悉各个网站常见反爬策略，能根据网页分析出常见反爬手段
5. 熟悉从结构化与非结构化网页中提取所需内容
6. 熟悉html/csss/js，能简单使用bootstrap,vue搭建页面，可以通过前端代码分析目标网站 真实request地址和response内容
7. 熟练使用 PyV8,JS2PY 或直接手写 python 代码去解析 JS 代码
8.熟悉nodejs和puppeteer框架开发
8. 熟悉主流的验证码识别技术(tesseract、selenium+pillow、第三方打码平台)
2. 熟练构建分布式爬虫，增量爬虫、多线程爬虫、Linux下的定时启动爬虫
3. 掌握基本的数据结构与算法
4. 熟悉各个网站常见反爬策略，能根据网页分析出常见反爬手段
5. 熟悉从结构化与非结构化网页中提取所需内容
6. 熟悉html/csss/js，能简单使用bootstrap,vue搭建页面，可以通过前端代码分析目标网站 真实request地址和response内容
7. 熟练使用 PyV8,JS2PY 或直接手写 python 代码去解析 JS 代码
8.熟悉nodejs和puppeteer框架开发
8. 熟悉主流的验证码识别技术(tesseract、selenium+pillow、第三方打码平台)
项目经验
使用技术：
1. 使用Scrapy_Redis搭建分布式爬虫框架
2. 使用 Re+XPath+Jsopath提取数据
3. 使用js2py或者pyv8来执行js相关代码，获取数据。
4. js环境比较复杂，无法完全找到js包，那么可以使用selenium配合浏览器，使用driver执行js代码，获取相关数据
5. 使用 Selenium+Headless Chrome无头浏览器爬取页面数据
6. 使用nodejs实现淘宝的自动登录
7. 使用elasticsearch保存数据 便于搜索查询数据
项目一：淘宝系网站相关爬虫
爬取阿里系的各类商家服务网站的数据，需要商家的账号登录。
项目二：淘宝自动登录
使用puppeteer进行自动登录操作，批量登录淘宝商家账号，并获取淘宝商家后台、直通车、钻展、超级推荐等网站的登录信息，为数据爬取提供支持
1. 使用Scrapy_Redis搭建分布式爬虫框架
2. 使用 Re+XPath+Jsopath提取数据
3. 使用js2py或者pyv8来执行js相关代码，获取数据。
4. js环境比较复杂，无法完全找到js包，那么可以使用selenium配合浏览器，使用driver执行js代码，获取相关数据
5. 使用 Selenium+Headless Chrome无头浏览器爬取页面数据
6. 使用nodejs实现淘宝的自动登录
7. 使用elasticsearch保存数据 便于搜索查询数据
项目一：淘宝系网站相关爬虫
爬取阿里系的各类商家服务网站的数据，需要商家的账号登录。
项目二：淘宝自动登录
使用puppeteer进行自动登录操作，批量登录淘宝商家账号，并获取淘宝商家后台、直通车、钻展、超级推荐等网站的登录信息，为数据爬取提供支持
用户评价 (2)
★ 5星
有耐心 尽责 很快 也给力
★ 5星
技术能力较好，反馈及时，沟通畅快
雨夜
爬虫工程师 · 3年经验 · 广州大麦信息科技有限公司
2
累计接单
100%
五星好评率
2
用户评价
5
被收藏
信用行为
2
接单数
2
评价数
5
收藏数
100%
五星率
技术能力
1. 熟练使用scrapy编写爬虫程序，熟悉国外中大型电商网站海量数据爬取，能够充分利用代 理ip资源进行高效爬取
2. 熟练构建分布式爬虫，增量爬虫、多线程爬虫、Linux下的定时启动爬虫
3. 掌握基本的数据结构与算法
4. 熟悉各个网站常见反爬策略，能根据网页分析出常见反爬手段
5. 熟悉从结构化与非结构化网页中提取所需内容
6. 熟悉html/csss/js，能简单使用bootstrap,vue搭建页面，可以通过前端代码分析目标网站 真实request地址和response内容
7. 熟练使用 PyV8,JS2PY 或直接手写 python 代码去解析 JS 代码
8.熟悉nodejs和puppeteer框架开发
8. 熟悉主流的验证码识别技术(tesseract、selenium+pillow、第三方打码平台)
2. 熟练构建分布式爬虫，增量爬虫、多线程爬虫、Linux下的定时启动爬虫
3. 掌握基本的数据结构与算法
4. 熟悉各个网站常见反爬策略，能根据网页分析出常见反爬手段
5. 熟悉从结构化与非结构化网页中提取所需内容
6. 熟悉html/csss/js，能简单使用bootstrap,vue搭建页面，可以通过前端代码分析目标网站 真实request地址和response内容
7. 熟练使用 PyV8,JS2PY 或直接手写 python 代码去解析 JS 代码
8.熟悉nodejs和puppeteer框架开发
8. 熟悉主流的验证码识别技术(tesseract、selenium+pillow、第三方打码平台)
项目经验
使用技术：
1. 使用Scrapy_Redis搭建分布式爬虫框架
2. 使用 Re+XPath+Jsopath提取数据
3. 使用js2py或者pyv8来执行js相关代码，获取数据。
4. js环境比较复杂，无法完全找到js包，那么可以使用selenium配合浏览器，使用driver执行js代码，获取相关数据
5. 使用 Selenium+Headless Chrome无头浏览器爬取页面数据
6. 使用nodejs实现淘宝的自动登录
7. 使用elasticsearch保存数据 便于搜索查询数据
项目一：淘宝系网站相关爬虫
爬取阿里系的各类商家服务网站的数据，需要商家的账号登录。
项目二：淘宝自动登录
使用puppeteer进行自动登录操作，批量登录淘宝商家账号，并获取淘宝商家后台、直通车、钻展、超级推荐等网站的登录信息，为数据爬取提供支持
1. 使用Scrapy_Redis搭建分布式爬虫框架
2. 使用 Re+XPath+Jsopath提取数据
3. 使用js2py或者pyv8来执行js相关代码，获取数据。
4. js环境比较复杂，无法完全找到js包，那么可以使用selenium配合浏览器，使用driver执行js代码，获取相关数据
5. 使用 Selenium+Headless Chrome无头浏览器爬取页面数据
6. 使用nodejs实现淘宝的自动登录
7. 使用elasticsearch保存数据 便于搜索查询数据
项目一：淘宝系网站相关爬虫
爬取阿里系的各类商家服务网站的数据，需要商家的账号登录。
项目二：淘宝自动登录
使用puppeteer进行自动登录操作，批量登录淘宝商家账号，并获取淘宝商家后台、直通车、钻展、超级推荐等网站的登录信息，为数据爬取提供支持
立即沟通
