小勇哥
软件开发工程师
华为技术有限公司 · 6年经验
日薪：
￥500/8h
地点：
西安 全区
时间：
可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.具有数据平台相关开发经验，熟练掌握Python语言，熟悉数据库与常见缓存技术与策略；
2.精通网页抓取原理及技术，熟练从结构化和非结构化的数据中获取信息；
4.熟悉urllib、requests、beautifulsoup、selenium等模块的使用；
3.熟悉MySQL、MongoDB、Redis等数据库的基本使用；
4.熟悉反爬虫（Headers限制、IP限制、cookie限制、动态网页渲染），验证码识别技术等；
5.熟练使用fiddler、charles、mitmproxy等抓包工具；
6.对Flask、Django等常用开源框架有一定了解或使用；
7.熟悉Scrapy爬虫框架下的开发和使用；
2.精通网页抓取原理及技术，熟练从结构化和非结构化的数据中获取信息；
4.熟悉urllib、requests、beautifulsoup、selenium等模块的使用；
3.熟悉MySQL、MongoDB、Redis等数据库的基本使用；
4.熟悉反爬虫（Headers限制、IP限制、cookie限制、动态网页渲染），验证码识别技术等；
5.熟练使用fiddler、charles、mitmproxy等抓包工具；
6.对Flask、Django等常用开源框架有一定了解或使用；
7.熟悉Scrapy爬虫框架下的开发和使用；
项目经验
1、用 Python 抓取公号文章保存成 PDF；
2、豆瓣电影数据爬取；
3、当当网书籍信息爬取；
4、CSS位置偏移反扒案例分析及爬取；
5、IP代理反扒案例爬取；
6、基于Session和Cookie的模拟登陆爬取；
2、豆瓣电影数据爬取；
3、当当网书籍信息爬取；
4、CSS位置偏移反扒案例分析及爬取；
5、IP代理反扒案例爬取；
6、基于Session和Cookie的模拟登陆爬取；
小勇哥
软件开发工程师 · 6年经验 · 华为技术有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.具有数据平台相关开发经验，熟练掌握Python语言，熟悉数据库与常见缓存技术与策略；
2.精通网页抓取原理及技术，熟练从结构化和非结构化的数据中获取信息；
4.熟悉urllib、requests、beautifulsoup、selenium等模块的使用；
3.熟悉MySQL、MongoDB、Redis等数据库的基本使用；
4.熟悉反爬虫（Headers限制、IP限制、cookie限制、动态网页渲染），验证码识别技术等；
5.熟练使用fiddler、charles、mitmproxy等抓包工具；
6.对Flask、Django等常用开源框架有一定了解或使用；
7.熟悉Scrapy爬虫框架下的开发和使用；
2.精通网页抓取原理及技术，熟练从结构化和非结构化的数据中获取信息；
4.熟悉urllib、requests、beautifulsoup、selenium等模块的使用；
3.熟悉MySQL、MongoDB、Redis等数据库的基本使用；
4.熟悉反爬虫（Headers限制、IP限制、cookie限制、动态网页渲染），验证码识别技术等；
5.熟练使用fiddler、charles、mitmproxy等抓包工具；
6.对Flask、Django等常用开源框架有一定了解或使用；
7.熟悉Scrapy爬虫框架下的开发和使用；
项目经验
1、用 Python 抓取公号文章保存成 PDF；
2、豆瓣电影数据爬取；
3、当当网书籍信息爬取；
4、CSS位置偏移反扒案例分析及爬取；
5、IP代理反扒案例爬取；
6、基于Session和Cookie的模拟登陆爬取；
2、豆瓣电影数据爬取；
3、当当网书籍信息爬取；
4、CSS位置偏移反扒案例分析及爬取；
5、IP代理反扒案例爬取；
6、基于Session和Cookie的模拟登陆爬取；
案例展示
爬取公众号文章下载并转换成PDF
作品思路：利用 Fiddler 抓包获取请求和返回报文，然后通过报文模拟请求实现批量下载。 1、登陆电脑端微信（微信版本需要在2.9.5及以下）； 2、在微信公众号上请求公众号的历史文章； 3、微信端向服务端请求并返回数据； 4、Fiddler 抓包获取请求和返回报文；
获取评分TOP100的电影保存下来慢慢看
1、分析网址 首先我们观察下豆瓣电影 top 250 的网址变化后会发现，top 250 共计分为 10 页，每一页 25 条记录，网址https://movie.douban.com/top250?start={start}&filter= 其中 start 从 0
立即沟通
