今晚十一点睡🎼
python爬虫工程师 · 3年经验 · 闲不闲信息科技有限公司
0
累计接单
0
用户评价
0
被收藏
技术能力
1.熟练使用xpath、re、json模块进行数据抓取
2.熟练使用MySQL数据库，熟悉Navicat、MongoDB等数据库
3.有充足的编程能力，了解计算机网络、数据结构，Http/Https协议
4.掌握常见的爬虫、反爬虫知识及应对措施；了解Linux系统
5.熟练掌握request库，Scrapy框架，了解scrapy-redis分布式组件
6.熟悉HTML、CSS、JavaScript等web前端技术
2.熟练使用MySQL数据库，熟悉Navicat、MongoDB等数据库
3.有充足的编程能力，了解计算机网络、数据结构，Http/Https协议
4.掌握常见的爬虫、反爬虫知识及应对措施；了解Linux系统
5.熟练掌握request库，Scrapy框架，了解scrapy-redis分布式组件
6.熟悉HTML、CSS、JavaScript等web前端技术
项目经验
项目：Spider Book
项目描述： 爬取各个大型图书网站，如新华书店图书网，在线网上图书一号店等。获取它们图书的名称，简介，购买量，评论量，评论数据，价格等，存入数据库。
项目技能： requests，Xpath，json，Redis，MongoDB，re
个人职责：1.使用requests模块，发送http请求，使用协程进行爬取网页，提高爬虫效率
2.分析需要爬取的数据，发现在ajax请求中，数据格式为json。使用re模块在返回的response.content中匹配需求数据，获取到数据
3.自定义get_ua函数，，调用get_ua随机获取user-agent，对request对象来进行包装，应对反爬
4.调用代理ip池，获取代理ip
项目描述： 爬取各个大型图书网站，如新华书店图书网，在线网上图书一号店等。获取它们图书的名称，简介，购买量，评论量，评论数据，价格等，存入数据库。
项目技能： requests，Xpath，json，Redis，MongoDB，re
个人职责：1.使用requests模块，发送http请求，使用协程进行爬取网页，提高爬虫效率
2.分析需要爬取的数据，发现在ajax请求中，数据格式为json。使用re模块在返回的response.content中匹配需求数据，获取到数据
3.自定义get_ua函数，，调用get_ua随机获取user-agent，对request对象来进行包装，应对反爬
4.调用代理ip池，获取代理ip
立即沟通
