技术:1. 熟练在 Linux、Windows 平台上的 python 编程,精通爬虫与反爬虫技术,能独立完成大规模爬虫采集、数据处理、 清洗入库等工作,熟练使用常用的 Linux 命令; 2. 熟练使用分布式网络爬虫开发;熟悉HTTP协议、Python BeautifulSoup、
项目:1.Android、Ios应用信息采集 环境:scrapy、xpath、re、mongo、postgres、flask、aapt 1).收录市面上各个应用市场信息作为采集渠道,如应用宝、豌豆荚等。 2).基于scraoy爬虫框架开发完成一套数据采集、apk包下载、apk
案例: 天眼查企业信息数据采集