DK

研究生
某高校研究生 · 2年经验
DK
日薪: ¥500/8h
地点: 杭州 江干
时间: 下班后周六周日可工作日远程可工作日驻场(离职原因)可工作日驻场(自由职业原因)
ID:287619 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | MySQL MongoDB Java Python C++ PyTorch
计算机专业硕士在读生,有着较充足的时间和经验。
熟悉C/C++、Java、Python、爬虫、Pytorch、scrapy框架。
熟悉各类开源爬虫组件机制工作原理。
擅长各类爬虫分析策略设定和防屏蔽规则设计。
熟练掌握MySQL数据库以及MongoDB数据库。

【WechatSogou】- weixin公众号爬虫。基于weixin公众号爬虫接口,可以扩展成其他搜索引擎的爬虫,返回结果是列表,每一项是公众号具体信息字典。
【DouBanSpider】- douban读书爬虫。可以爬下豆瓣读书所有图书,按评分排名依次存储,存储到Excel中,比如筛选评价人数>1000的高分段书籍;可依据不同的类别存储到Excel不同的分类 ,采用User Agent伪装为浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封。
【zhihu_spider】- zhihu爬虫。爬取zhihu用户信息以及人际关系,爬虫框架使用scrapy,爬取的数据存储使用mongo
【bilibili-user】- Bilibili用户爬虫。抓取用户id,昵称,性别,头像,等级,经验值,粉丝数,生日,地址,注册时间,签名,等级与经验值等。抓取之后生成13站用户数据Excel表格。
【SinaSpider】- xinlang微博爬虫。爬取xinlang微博用户的个人信息、微博信息、粉丝和关注。代码获取xinlang微博Cookie进行登录,可通过多账号登录来防止xinlang的反扒。主要使用 scrapy 爬虫框架。
DK ID:287619 复制

DK

研究生 · 2年经验 · 某高校研究生
城市杭州 江干 日薪500元/8h 时间 下班后周六周日可工作日远程可工作日驻场(离职原因)可工作日驻场(自由职业原因)
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | MySQL MongoDB Java Python C++ PyTorch
计算机专业硕士在读生,有着较充足的时间和经验。
熟悉C/C++、Java、Python、爬虫、Pytorch、scrapy框架。
熟悉各类开源爬虫组件机制工作原理。
擅长各类爬虫分析策略设定和防屏蔽规则设计。
熟练掌握MySQL数据库以及MongoDB数据库。

项目经验

【WechatSogou】- weixin公众号爬虫。基于weixin公众号爬虫接口,可以扩展成其他搜索引擎的爬虫,返回结果是列表,每一项是公众号具体信息字典。
【DouBanSpider】- douban读书爬虫。可以爬下豆瓣读书所有图书,按评分排名依次存储,存储到Excel中,比如筛选评价人数>1000的高分段书籍;可依据不同的类别存储到Excel不同的分类 ,采用User Agent伪装为浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封。
【zhihu_spider】- zhihu爬虫。爬取zhihu用户信息以及人际关系,爬虫框架使用scrapy,爬取的数据存储使用mongo
【bilibili-user】- Bilibili用户爬虫。抓取用户id,昵称,性别,头像,等级,经验值,粉丝数,生日,地址,注册时间,签名,等级与经验值等。抓取之后生成13站用户数据Excel表格。
【SinaSpider】- xinlang微博爬虫。爬取xinlang微博用户的个人信息、微博信息、粉丝和关注。代码获取xinlang微博Cookie进行登录,可通过多账号登录来防止xinlang的反扒。主要使用 scrapy 爬虫框架。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏