💭浠
爬虫工程师 · 2年经验 · 维涛信息技术公司
0
累计接单
0
用户评价
0
被收藏
技术能力
python
网络协议：一些列的协议，http协议
html,css,javascript,jquery 基本的web技能
数据的存储（数据库）
爬虫的相关框架 scrapy , pyspider 包 requests urllib
网页分析工具：正则表达式，xpath ,bs4......
网络协议：一些列的协议，http协议
html,css,javascript,jquery 基本的web技能
数据的存储（数据库）
爬虫的相关框架 scrapy , pyspider 包 requests urllib
网页分析工具：正则表达式，xpath ,bs4......
项目经验
1、【WechatSogou】- weixin公众号爬虫。基于weixin公众号爬虫接口，可以扩展成其他搜索引擎的爬虫，返回结果是列表，每一项是公众号具体信息字典。
2、【DouBanSpider】- douban读书爬虫。可以爬下豆瓣读书所有图书，按评分排名依次存储，存储到Excel中，比如筛选评价人数>1000的高分段书籍；可依据不同的类别存储到Excel不同的分类 ，采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封。
3、【zhihu_spider】- zhihu爬虫。爬取zhihu用户信息以及人际关系，爬虫框架使用scrapy，爬取的数据存储使用mongo
2、【DouBanSpider】- douban读书爬虫。可以爬下豆瓣读书所有图书，按评分排名依次存储，存储到Excel中，比如筛选评价人数>1000的高分段书籍；可依据不同的类别存储到Excel不同的分类 ，采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封。
3、【zhihu_spider】- zhihu爬虫。爬取zhihu用户信息以及人际关系，爬虫框架使用scrapy，爬取的数据存储使用mongo
立即沟通
