猿急送>

其他测试兼职程序员

ID：180994

故事还长。

网络爬虫及数据开发

公司信息：
河南云冲网络科技

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
下班后

所在区域：
其他
全区

技术能力

熟练使用 Python 语言,能够进行面向对象的编程实现
熟练使用 MySQL 数据库操作、熟悉 Mongodb 数据库、Redis 数据库
熟练使用 Django 框架，熟悉 Flask 框架,能够使用框架进行 web 开发能够使用 django celery 进行网站并发处理的异步编程
能够使用 django restframework 进行前后端分离式开发
对多线程，多进程，协程，异步，分布式等技术有了解
对数据结构和算法（冒泡、二分、快排等）有掌握
了解 docker 沙箱环境
掌握 Scrapy 爬虫框架，对 pyspider 框架了解，可以使用框架结合 xpath 进行数据的提取对网站的反爬有一定的认识和了解
熟练掌握 Web 前端基础开发语言（如：HTML5、CSS3、JavaScript）熟悉 Bootstrap、jQuery 等相关知识
熟悉 Linux 常用操作命令
熟悉 Git 进行代码托管，协助团队开发

项目经验

项目名称：广告人商城(2019.4-2019.9)
项目描述：广告人商城是互联网+广告材料的 B2B 电商网站
主要包括以下模块功能：后台会员注册登录、会员管理、订单查询、订单管理、购物车、商品评论、商品排行、商品分类展示、商品类别管理、商品信息检索、商品品牌展示、商品管理、权限管理等。
项目职责：
1.用 django 技术封装模块功能类，实现类的相关功能逻辑。
2.使用队列，celery 相结合的技术解决系统多并发问题
3.用 logging 模块去记录用户登入登出，购买，支付等相关信息，为网站安全维护工作提供依据
4.用 elasticsearch 完成全文搜索的功能

项目名称：
水具酒具的爬取分析(2019.01 - 2019.03)
项目描述：
搜索互联网上水具酒具类商品页面，分析网站的反爬结构，定位网页元素。并对水具酒具类商品进行性价比分析，水具酒具类商品的材料对比分析，水具酒类商品的区域分布分析等。
责任描述：
搜索网络上关于水具酒具类产品的产品列表页面，分析页面的反爬策略，结合 xpath 进行页面元素定位将爬取的数据进行去重去异常去空等清洗操作利用 numpy+pandas 技术对水具酒具类产品性价比进行分析、材料对比进行分析等

项目名称：
爬取图书评论(2018.06-2018.06)
项目描述：
根据需求对豆瓣读书，起点中文网，当当网，纵横中文网，腾讯文学，中国图书网等网站的数据抓取采集，预处理
项目职责：
1. 爬取图书网站所有图书详情页的 url，搭建 scrapy-redis 分布式爬虫框架。
2. 分析具体图书页面的反爬措施，针对不同的反爬措施编写不同的反爬代码，实现代码逻辑。
3. 提取图书名，作者，类型，热评，星级评分等字段，并去掉重复图书；删除星级为空，评论为空的图书。
4. 将图书热评组成一个特征值，存入 mysql 数据库。