快代理平台
项目介绍:快代理平台是一个集用户进行代理购买、代理管理、API管理等前台平台和帮助公司展示各个产品销售额统计、客户统计等后台管理平台。
项目职责:
1、进行项目需求分析与相关业务表的制定;
2、负责代理购买、实名认证、销售统计、推广统计等模块的功能实现
3、进行单元测试和开发文档编写。
免费ip代理爬虫
项目介绍:使用Scrapy 框架爬取西拉代理、云代理等免费IP代理数据,为公司web 项目提供数据支撑
项目职责:
1、协同参与爬虫框架的选择和存储数据表结构和字段的设计
2、负责分析需要的网站,并进行数据抓取、清洗、维护工作
3、部署分布式爬虫