1.3年python爬虫开发
2.熟悉python多线程爬取、python框架、JS逆向等爬虫技术
3.熟悉MySql等存储引擎,用于存储爬取海量数据
4.静态网页数据、动态数据、加密数据都可爬取
5.熟悉使用python脚本实现自动化工具
6.熟悉java编程,springboot+springcloud+vue
7.小程序开发
爬取某品会大型商城数据
大型商城数据一般都比较庞大,采用python的scrapy技术进行多线程异步爬取。
采用xpath进行提取数据并存储到文本文件中,最后经过处理存储mysql数据库