海贼王
爬虫开发工程师 · 2年经验 · 白星科技
0
累计接单
0
用户评价
3
被收藏
技术能力
各类网站爬取
结构和非结构数据提取，存储
反爬机制破解：浏览器限制，验证码，js加密，封ip，封cookie等
技术点： scrapy,request, requests,xml,re,xpath,beautifulsoup,flask,django等，mysql，mongodb，redis数据库
selenium模拟浏览器爬取
多进程多线程爬取
scrapy分布式爬取
结构和非结构数据提取，存储
反爬机制破解：浏览器限制，验证码，js加密，封ip，封cookie等
技术点： scrapy,request, requests,xml,re,xpath,beautifulsoup,flask,django等，mysql，mongodb，redis数据库
selenium模拟浏览器爬取
多进程多线程爬取
scrapy分布式爬取
项目经验
各种网页，信息爬取，爬虫功能接口编写。excel,mysql，mongodb，redis数据库存储
四川增值税发票，税控盘登录，时间调整，个类发票的单选，批量勾选，删除，修改。申报，查验，作废，等功能接口
陕西发票查验， 各类税种的勾选批量勾选，取消，申报，修改等爬虫接口
有道词典在线翻译调取接口： js加密破解
裁判文书网： 登录，案件内容爬取。结构化存储
微信公众号爬取： 文章内容，评论和评论人账号等信息爬取
淘宝京东各商品评论等爬取
微博： 微博文章，评论等爬取
四川增值税发票，税控盘登录，时间调整，个类发票的单选，批量勾选，删除，修改。申报，查验，作废，等功能接口
陕西发票查验， 各类税种的勾选批量勾选，取消，申报，修改等爬虫接口
有道词典在线翻译调取接口： js加密破解
裁判文书网： 登录，案件内容爬取。结构化存储
微信公众号爬取： 文章内容，评论和评论人账号等信息爬取
淘宝京东各商品评论等爬取
微博： 微博文章，评论等爬取
立即沟通
