时光境迁yfsi
无
无 · 1年经验
日薪：
￥500/8h
地点：
长沙 全区
时间：
可工作日驻场（自由职业原因）
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1、熟悉C，python，java语言，掌握常见的数据结构算法。
2、精通python爬虫数据采集，有相关开发经验。
3、熟悉多种数据库，如Redis、MySQL、Oracle、Clickhouse、PostgreSQL等
4、擅长Python爬虫、Web开发（主要用Django）。
5、熟悉Linux基本运维。
6、精通Scrapy数据采集框架。
7、熟悉多线程、异步爬虫开发。
8、熟悉JavaScript反爬机制、字体反爬等手段。
2、精通python爬虫数据采集，有相关开发经验。
3、熟悉多种数据库，如Redis、MySQL、Oracle、Clickhouse、PostgreSQL等
4、擅长Python爬虫、Web开发（主要用Django）。
5、熟悉Linux基本运维。
6、精通Scrapy数据采集框架。
7、熟悉多线程、异步爬虫开发。
8、熟悉JavaScript反爬机制、字体反爬等手段。
项目经验
1.爬取过梨视频并下载下来
2.爬取豆瓣电影排行榜并以excl方式保存
3.爬取过京东，让客户选择要搜的商品和需要的信息爬取下来保存在excl里
项目名称：通过异步爬虫爬取HGMD，构建mysql数据库
项目描述：
项目介绍
对高通量测序数据进行数据分析时，需要对snp数据进行相关性筛选，为此需要构建基于mysql的基因突变数据库，对HGMD网站相关基因突变信息进行爬取，爬取内容包括基因名，染色体坐标，突变信息，致病信息等。爬取结果存储于mysql。
我的职责
1，采用asyncio+aiohttp以达成高并发，异步请求。
2，通过timeout设置超时重发机制，因为HGMD为国外网站，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过继承aiohttp.ClientSession类来保存cookie对象，以应对基于cookie的反扒策略
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
2.爬取豆瓣电影排行榜并以excl方式保存
3.爬取过京东，让客户选择要搜的商品和需要的信息爬取下来保存在excl里
项目名称：通过异步爬虫爬取HGMD，构建mysql数据库
项目描述：
项目介绍
对高通量测序数据进行数据分析时，需要对snp数据进行相关性筛选，为此需要构建基于mysql的基因突变数据库，对HGMD网站相关基因突变信息进行爬取，爬取内容包括基因名，染色体坐标，突变信息，致病信息等。爬取结果存储于mysql。
我的职责
1，采用asyncio+aiohttp以达成高并发，异步请求。
2，通过timeout设置超时重发机制，因为HGMD为国外网站，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过继承aiohttp.ClientSession类来保存cookie对象，以应对基于cookie的反扒策略
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
ID:272435
复制
时光境迁yfsi
无 · 1年经验 · 无
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1、熟悉C，python，java语言，掌握常见的数据结构算法。
2、精通python爬虫数据采集，有相关开发经验。
3、熟悉多种数据库，如Redis、MySQL、Oracle、Clickhouse、PostgreSQL等
4、擅长Python爬虫、Web开发（主要用Django）。
5、熟悉Linux基本运维。
6、精通Scrapy数据采集框架。
7、熟悉多线程、异步爬虫开发。
8、熟悉JavaScript反爬机制、字体反爬等手段。
2、精通python爬虫数据采集，有相关开发经验。
3、熟悉多种数据库，如Redis、MySQL、Oracle、Clickhouse、PostgreSQL等
4、擅长Python爬虫、Web开发（主要用Django）。
5、熟悉Linux基本运维。
6、精通Scrapy数据采集框架。
7、熟悉多线程、异步爬虫开发。
8、熟悉JavaScript反爬机制、字体反爬等手段。
项目经验
1.爬取过梨视频并下载下来
2.爬取豆瓣电影排行榜并以excl方式保存
3.爬取过京东，让客户选择要搜的商品和需要的信息爬取下来保存在excl里
项目名称：通过异步爬虫爬取HGMD，构建mysql数据库
项目描述：
项目介绍
对高通量测序数据进行数据分析时，需要对snp数据进行相关性筛选，为此需要构建基于mysql的基因突变数据库，对HGMD网站相关基因突变信息进行爬取，爬取内容包括基因名，染色体坐标，突变信息，致病信息等。爬取结果存储于mysql。
我的职责
1，采用asyncio+aiohttp以达成高并发，异步请求。
2，通过timeout设置超时重发机制，因为HGMD为国外网站，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过继承aiohttp.ClientSession类来保存cookie对象，以应对基于cookie的反扒策略
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
2.爬取豆瓣电影排行榜并以excl方式保存
3.爬取过京东，让客户选择要搜的商品和需要的信息爬取下来保存在excl里
项目名称：通过异步爬虫爬取HGMD，构建mysql数据库
项目描述：
项目介绍
对高通量测序数据进行数据分析时，需要对snp数据进行相关性筛选，为此需要构建基于mysql的基因突变数据库，对HGMD网站相关基因突变信息进行爬取，爬取内容包括基因名，染色体坐标，突变信息，致病信息等。爬取结果存储于mysql。
我的职责
1，采用asyncio+aiohttp以达成高并发，异步请求。
2，通过timeout设置超时重发机制，因为HGMD为国外网站，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。
3，通过继承aiohttp.ClientSession类来保存cookie对象，以应对基于cookie的反扒策略
4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中
立即沟通
