参商
python开发工程师
上海网达软件有限公司 · 2年经验
日薪：
￥500/8h
地点：
上海 静安
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
熟悉Python语言的动态执行机制，熟悉Django框架的主要特性的设计和实现机制，uwsgi/gunicon生产部署、Linux系统原理及基本操作、基本的Web安全、Web性能等方面的知识点、HTTP原理机制
项目经验
项目名称：通过异步爬虫爬取HGMD，构建mysql数据库
项目描述：
对高通量测序数据进行数据分析时，需要对snp数据进行相关性筛选，为此需要构建基于mysql的基因突变数据库，对HGMD网站相关基因突变信息进行爬取，爬取内容包括基因名，染色体坐标，突变信息，致病信息等。爬取结果存储于mysql。
我的职责
1，采用asyncio+aiohttp以达成高并发，异步请求。
2，通过timeout设置超时重发机制，因为HGMD为国外网站，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过继承aiohttp.ClientSession类来保存cookie对象，以应对基于cookie的反扒策略
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
项目描述：
对高通量测序数据进行数据分析时，需要对snp数据进行相关性筛选，为此需要构建基于mysql的基因突变数据库，对HGMD网站相关基因突变信息进行爬取，爬取内容包括基因名，染色体坐标，突变信息，致病信息等。爬取结果存储于mysql。
我的职责
1，采用asyncio+aiohttp以达成高并发，异步请求。
2，通过timeout设置超时重发机制，因为HGMD为国外网站，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过继承aiohttp.ClientSession类来保存cookie对象，以应对基于cookie的反扒策略
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
ID:220026
复制
参商
python开发工程师 · 2年经验 · 上海网达软件有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
熟悉Python语言的动态执行机制，熟悉Django框架的主要特性的设计和实现机制，uwsgi/gunicon生产部署、Linux系统原理及基本操作、基本的Web安全、Web性能等方面的知识点、HTTP原理机制
项目经验
项目名称：通过异步爬虫爬取HGMD，构建mysql数据库
项目描述：
对高通量测序数据进行数据分析时，需要对snp数据进行相关性筛选，为此需要构建基于mysql的基因突变数据库，对HGMD网站相关基因突变信息进行爬取，爬取内容包括基因名，染色体坐标，突变信息，致病信息等。爬取结果存储于mysql。
我的职责
1，采用asyncio+aiohttp以达成高并发，异步请求。
2，通过timeout设置超时重发机制，因为HGMD为国外网站，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过继承aiohttp.ClientSession类来保存cookie对象，以应对基于cookie的反扒策略
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
项目描述：
对高通量测序数据进行数据分析时，需要对snp数据进行相关性筛选，为此需要构建基于mysql的基因突变数据库，对HGMD网站相关基因突变信息进行爬取，爬取内容包括基因名，染色体坐标，突变信息，致病信息等。爬取结果存储于mysql。
我的职责
1，采用asyncio+aiohttp以达成高并发，异步请求。
2，通过timeout设置超时重发机制，因为HGMD为国外网站，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过继承aiohttp.ClientSession类来保存cookie对象，以应对基于cookie的反扒策略
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
立即沟通
相似人才推荐：
北京PHP研发工程师、PYTHON研发工程师 (北京明日科技有限公司) ，12年经验 ，600元/天
上海python爬虫开发 (大家说我有天赋) ，1年经验 ，500元/天
上海python高级工程师 (威廉欧奈尔中国) ，6年经验 ，500元/天
杭州python爬虫 (暂无) ，1年经验 ，500元/天
上海python开发工程师 (上海携宁科技有限公司) ，2年经验 ，600元/天
合肥高级Python开发工程师 (科大讯飞股份有限公司) ，8年经验 ，500元/天
武汉python爬虫工程师 (无) ，1年经验 ，1000元/天
武汉python开发 (武汉智慧云极数据科技有限公司) ，2年经验 ，500元/天
