猿急送>

上海后端兼职程序员

ID：161928

Harry

爬虫开发

公司信息：
华为

工作经验：
3年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
上海
浦东

技术能力

1.破解登录加密，使用Request模拟登录
2.破解验证码
3.Web 开发框架Django
4.Python爬虫框架Scrapy，破解常见反爬虫策略
5.使用 Selenium，进行模拟操作
6.前端Boostrap，js

项目经验

项目描述
开发环境: Python + Django + Requests
项目简介: 爬取微信，小红书，微博等各个平台的文章和图片,通过后台编辑发布为已所用，搭建django爬取系统，提供界面化操作
成果：
1.输入一个url即可爬去文章可图片
2.输入博主的名字即可爬取博主发布的文章
3.每天定时爬取关注博主的新文章
应用技术：
1.使用Scrapy框架，搭建爬虫工程;
2.使用Fiddler分析请求，抓取分析json数据，中间件配置代理池、IP、cookie等防止爬虫被禁;
3.使用Xpath数据抽取相关信息,数据存入MySQL做持久化处理；;
4.SQL语句进行处理重复项，缺失项，对各种非规范化的文本语言处理;
5.使用的Selenium模拟浏览器操作，提取源码；
6.破解加密算法，使用request模拟登录网站
行业
爬虫,工具类
我的职责
1.负责爬虫系统的搭建和数据的存储,分析网站的反爬机制;
2.负责爬取数据的去重,过滤,展示;
3.后期爬虫项目跟进;
4.爬虫程序的性能优化，及时处理网站升级后反爬问题

项目描述
项目架构：：Django-rest-framwork+redis+mysql
项目描述：
富尔沃酒店预定系统依托各分公司官方网站推出一个在线预定酒店住宿系统，该项目采用前后端分离开发模式，后端采用 Restful规范实现。
项目分 5 大系统：
1.用户系统：用户个人中心，订单查看，历史订单，用户评价。
2.酒店系统：酒店多级分类，运用Haystack 实现酒店查询
3.交易中心：订单生成保存，过期自动取消，通过策略实现不同类别优惠券
4.结算中心：负责交易结算，调取第三方结算中心。
5.后台管理系统：前期利用 Xadmin自定义简易的后台系统供工作人员使用。
6.前期为快速增加店铺用selenium + django实现数据的爬取入库
行业
平台类,电商
我的职责
1.项目前期的设计，需求调研，文档编写。提出根据不同区域实现不同酒店推送和展示。
2.完成基于JsonWebToken 实现网站接口安全认证。
3.利用token + redis 实现用户7天免登录
4.酒店数据的展示，酒店多级分类设计，推送热搜、热门酒店，酒店检索
5.优惠券的设计：根据不同用户，不同区域推出不同优惠券给目标用户，优惠券分类设计。节日，生日优惠。积分兑换活动。
6.酒店商家广告展示，根据区域推送不同特色广告。
7.利用Redis缓存首页，提高网站访问效率。
8.调用第三方结算。
9.网站的优化，基于 rest_framework 的throttling 配置控制注册用户和非注册用户访问速率等做防爬虫处理。
10.前期模板http://119.23.59.160/

案例展示

文章阅读网站

开发环境: Python + Django + Requests 项目简介: 爬取微信，小红书，微博等各个平台的文章和图片,通过后台编辑发布为已所用，搭建django爬取系统，提供界面化操作成果： 1.输入一个url即可爬去文章可图片 2.输入博主的名字即可爬取博主发布
小红书爬虫

功能： 1.输入一个url即可爬去文章可图片 2.输入博主的名字即可爬取博主发布的文章 3.每天定时爬取关注博主的新文章