猿急送>

西安后端兼职程序员

ID：269362

阿墨

爬虫工程师

公司信息：
陕西奈沃当信息技术有限公司

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
西安
全区

技术能力

1、熟练运用 Python 语言，熟悉 Python 常用标准库和第三方库。2、熟悉 MySQL、Redis 等常用数据库。3、理解进程、线程、协程。4、理解 TCP、UDP、http 等传输层协议。5、熟悉爬虫程序的编写，熟悉各种反爬策略，能熟练进行 js 逆向。6、能使用 Scrapy、feapder 框架、selenium 工具爬取网页，能使用正则或 xpath 等对爬取的数据进行解析。

项目经验

项目一：杭州女装网商品采集开发项目简介：使用 requests 库以及 flask 框架、多线程制作的对杭州女装网商品采集，对接相关产品库，爬取相关数据。开发环境：Windows + Pycharm + Flask + Redis + Python + requests + centos 个人职责：相关需求分析，代码设计，杭州女装网平台 js 代码分析，相关代码的编写，代码部署及对接技术实现： 1. 根据需求分析编写项目的结构设计 2. 分析破解杭州女装网使用的极验滑动验证 3. 引入超级鹰第三方平台解决该平台使用的点触验证问题 4. 使用 selenium 自动化工具获取 cookie 5. 使用 redis 进行数据的存储和转发 6. 使用相关接口返回给产品库数据，进行存储。
项目二：天猫、淘宝、1688、拼多多等网站的 feader 开发项目简介：以 feapder 爬虫框架以及 flask 框架，对接相关产品库，制作的天猫、淘宝、等网站的商品数据的爬取。开发环境：Windows + Pycharm + Flask + Redis + Python + feapder + centos 个人职责：相关需求分析，代码设计，相关平台 js 代码分析，相关代码的编写，代码部署及对接技术实现： 1. 根据需求分析编写 feapder 框架的结构设计 2. 相关网站的逆向破解 3. 代理 ip 的反反爬策略 4. 使用 redis 进行数据的存储和转发 5. 使用相关接口返回给产品库数据，进行存储。
项目三：qoo10、乐天等网站的 scrapy-redis 爬虫开发项目简介：以 scrapy-redis 框架为主，制作的分布式爬虫。爬取相关网站的商品信息及评论信息。开发环境：Windows + Pycharm + Scrapy-redis + centos 个人职责：相关需求分析，代码编写，代码部署及对接技术实现： 1. 根据需求分析编写 Scrapy-redis 框架的结构设计 2. 相关网站的逆向破解 3. 使用合理的反反爬策略，qoo10 和乐天需使用国外代理 4. 使用正则表达式、re 等提取数据。

案例展示

杭州女装网商品采集开发

项目简介：使用 requests 库以及 flask 框架、多线程制作的对杭州女装网商品采集，对接相关产品库，爬取相关数据。开发环境：Windows + Pycharm + Flask + Redis + Python + requests + centos 个人职责：相关需
天猫淘宝拼多多等网站的feader开发

项目：天猫、淘宝、1688、拼多多等网站的 feader 开发项目简介：以 feapder 爬虫框架以及 flask 框架，对接相关产品库，制作的天猫、淘宝、等网站的商品数据的爬取。开发环境：Windows + Pycharm + Flask + Redis + Pytho