项目一：杭州女装网商品采集开发 项目简介：使用 requests 库以及 flask 框架、多线程制作的对杭州女装网商品采集，对接相关产品库，爬取相关数据。 开发环境：Windows + Pycharm + Flask + Redis + Python + requests + centos 个人职责：相关需求分析，代码设计，杭州女装网平台 js 代码分析，相关代码的编写，代码部署及对接 技术实现： 1. 根据需求分析编写项目的结构设计 2. 分析破解杭州女装网使用的极验滑动验证 3. 引入超级鹰第三方平台解决该平台使用的点触验证问题 4. 使用 selenium 自动化工具获取 cookie 5. 使用 redis 进行数据的存储和转发 6. 使用相关接口返回给产品库数据，进行存储。
项目二：天猫、淘宝、1688、拼多多等网站的 feader 开发 项目简介：以 feapder 爬虫框架以及 flask 框架，对接相关产品库，制作的天猫、淘宝、等网站的商品 数据的爬取。 开发环境：Windows + Pycharm + Flask + Redis + Python + feapder + centos 个人职责：相关需求分析，代码设计，相关平台 js 代码分析，相关代码的编写，代码部署及对接 技术实现： 1. 根据需求分析编写 feapder 框架的结构设计 2. 相关网站的逆向破解 3. 代理 ip 的反反爬策略 4. 使用 redis 进行数据的存储和转发 5. 使用相关接口返回给产品库数据，进行存储。
项目三：qoo10、乐天等网站的 scrapy-redis 爬虫开发 项目简介：以 scrapy-redis 框架为主，制作的分布式爬虫。爬取相关网站的商品信息及评论信息。 开发环境：Windows + Pycharm + Scrapy-redis + centos 个人职责：相关需求分析，代码编写，代码部署及对接 技术实现： 1. 根据需求分析编写 Scrapy-redis 框架的结构设计 2. 相关网站的逆向破解 3. 使用合理的反反爬策略，qoo10 和乐天需使用国外代理 4. 使用正则表达式、re 等提取数据。