猿急送>

武汉后端兼职程序员

ID：251375

Lyong

爬虫工程师

公司信息：
武汉中科通达

工作经验：
4年

兼职日薪：
1500元/8小时

兼职时间：
可工作日驻场（离职原因）
可工作日驻场（自由职业原因）

所在区域：
武汉
全区

技术能力

拥有4年Python 开发开发工作经验，涉及Web开发，爬虫程序，数据分析及可视化工作经历。

具备一定中、大型系统架构经验，有优秀的学习、沟通能力，经常与团队进行技术分享，与团队共同成长。
前端框架: Vue, Bootstrap,jQuery,Angular,AmazeUI,MUI
后端框架: Django,Flask,Tornado
数据库 : MongoDB,Redis, MySQL,SQLite
Linux: 掌握各种Linux生产环境部署维护,编写Shell脚本进行系统运维
常用工具: Git, PyCharm, Vim,SVN,Sublime,Docker
其他技能:能构建高并发、高可用Web架构，熟悉Python程序设计模式，多线程，协程，PEP8规范
可进行Docker部署集群服务器,了解Go,NodeJS等其他语言

项目经验

2019至今从事Python教学武汉啊哈编程
责任描述：
1、教授初高中青少年Python知识，标准库及常用第三方工具库的使用；
2、能够简单生动有兴趣地方式应用Python上网信息获取，例如爬虫下载；
3、为学员进行学情分析，制定学习规划并跟踪学习效果，根据学习情况提供个性化的学习建议；确保孩子持续有效的学习，及时解决学员及家长的问题；
4、使用Jupyter进行演示互动教学，监督学员学习，反馈进度；
5、通过个性化、有温度的服务，不断提升用户满意度，促成续报转化。

2017-2018 项目06.百慕达前后端分类架构电商网站
软件环境： Linux,Pycharm,JQuery,Vue,Django,Django RestFramework,MySQL,Redis,uWSGI,Nginx
项目描述：使用Django RestFramework开发网站的数据请求功能，进行API接口封装，主要功能包括：用户注册登录、手机验证码发送与验证、第三方登录、用户个人中心、订单管理、商品后台管理、商品分类展示、商详页、商品搜索、第三方支付、静态页面缓存
责任描述：
1.通过网络开源组件的一个电商网站前端代码实现了一个前后端分离，具备各种常见功能的电商网站;
2.构建优化高频数据库查询系统和响应促销活动;
3.构建日志分析系统;
4.通过日志历史信息进行数据清洗，建立用户行为分析系统，通过机器学习模型建立用户画像

2016 项目05.H通远达公司-基于Scrapy框架进行爬取OpenAcess的专业外文学术期刊网站-5000万条外文数据
软件环境：CentOS，Python3.4.1，Scrapy，Celery，Selenium，Postman，Curl
开发工具： Pycharm,Vim,VScode
责任描述：
1.主要负责项目信息的爬取；
2.用到的技术Scrapy框架
3.根据网页数据在items.py中建模
4.定义爬虫行为，编写对应spider文件
5.利用Xpath对数据进行抽取
6.编写中间件模拟客户端访问，随机抽取User-Agent、IP代理池组合生成用户头信息。
7.运用第三方ip代理池，防止ip被封获取不到数据，影响效率。
8.具备一定字体反反爬虫及js加密反爬技术。
9.打开管道，编写pipelines文件。
10.使用Celery进行任务管理，通过分发任务实现。
11.针对爬取内容进行数据清洗、解析、去重
12.使用百度翻译和谷歌翻译API对论文及相关文本内容进行批量机器翻译
13.对文本内容进行分词处理，通过数据分析发现专业热点及行业新动向信息

2016 项目04.Z科通达公司-爬取当当网、博库网、文轩网以及相关图书信息网站数据--3000万条图书及销售数据
项目描述：当当、博库网、文轩网、天猫、京东商城图书销量占据线上销售95%以上，且经营网站多年，尤其当时火热的当当网站，网站的数据能够客观反映市场需求以及变化。对这些数据进行分析，能够让公司有针对性的进行选题，掌握最新的市场动向，把握先机，并且能够合理化的安排项目策划的进度以及后期的生产量。
责任描述：爬虫功能模块编写
1. 使用Python的Scary爬虫框架；
2. 设置中间键模块：设置ip代理和User-Agent；
3. 在请求头中设置请求头headers信息为浏览器的信息将爬虫伪装成浏览器
4. 使用re，xpath，BeautifulSoup4，requests等模块对数据进行处理
5. 使用MySQL，MongoDB数据库对数据进行存储（使用pymysql模块）
6. 对爬取的数据进行数据清洗，统计分析

2016 项目03.GM86-游戏部落应用商店后端开发
软件环境：CentOS+Django+uwsgi+Nginx+MySQL+Elasticsearch
开发工具：PyCharm,Secure Shell Client
项目描述：GM86-游戏部落的应用商店项目，所在项目负责开发控台管理系统为运营人员使用，开发后端接口为客户端使用，开发新市场爬虫为数据库提供应用数据。
责任描述：
1.负责微空间后台用户组权限管理开发（基于Django admin定制开发）
2.负责app市场后端开发Restful API接口迭代开发（基于Django RestFramework）
3.负责app市场数据采集（基于scrapy分布式爬虫开发）
4.封装腾讯视频，百度云点播Python SDK
5.使用Django-haystack+Elasticsearch whoosh+jieba分词实现全文搜索
6.使用Nginx负载均衡+CDN