ID：220026
参商
python开发工程师
- 公司信息：
- 上海网达软件有限公司
- 工作经验：
- 2年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 可工作日远程
- 所在区域：
- 上海
- 静安
技术能力
熟悉Python语言的动态执行机制，熟悉Django框架的主要特性的设计和实现机制，uwsgi/gunicon生产部署、Linux系统原理及基本操作、基本的Web安全、Web性能等方面的知识点、HTTP原理机制
项目经验
项目名称：通过异步爬虫爬取HGMD，构建mysql数据库
项目描述：
对高通量测序数据进行数据分析时，需要对snp数据进行相关性筛选，为此需要构建基于mysql的基因突变数据库，对HGMD网站相关基因突变信息进行爬取，爬取内容包括基因名，染色体坐标，突变信息，致病信息等。爬取结果存储于mysql。
我的职责
1，采用asyncio+aiohttp以达成高并发，异步请求。
2，通过timeout设置超时重发机制，因为HGMD为国外网站，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过继承aiohttp.ClientSession类来保存cookie对象，以应对基于cookie的反扒策略
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
相似人才推荐
-
600元/天PHP研发工程师、PYTHON研发工程师北京明日科技有限公司概要：1、2年以上PHP项目开发经验； 2、精通PHP，Python 3、精通mysql、Or
-
500元/天python爬虫开发大家说我有天赋概要：1.理解并熟练运用python基础 2.理解并熟练运用python面向对象, 进程, 线程, ur -
500元/天python高级工程师威廉欧奈尔中国概要：语言能力:Python,Vue,Shell,Docker 框架: Django,Flask,Odo
-
500元/天python爬虫暂无概要：熟练爬虫的的基本流程，正则的使用、requests的请求和模拟登陆，http协议、json响应的解析
-
600元/天python开发工程师上海携宁科技有限公司概要：scrapy框架开发爬虫 wxpy,flask配合开发在线登录微信,获取微信公众号消息 flas
-
1000元/天python爬虫工程师无概要：熟悉python爬虫，分布式爬虫，scrapy框架等； 熟悉http协议，linux基本命令； -
500元/天python开发武汉智慧云极数据科技有限公司概要：1、熟练掌握 Python 语言基础以及面向对象编程 2、熟练运用 Python Web 开发相关 -
500元/天Python工程师东莞潜墨科技有限公司概要：1、掌握SQL语言，能在MYSQL、HIVE环境下对数据进行增删改查 2、掌握Python语法，会
