技术:熟练使用scrapy进行数据获取,熟练采集上交所、深交所、等一些金融媒体网站数据。数据采集用到python、mysql、redis、破解登陆验证码等。对采集数据进行去重,断点续爬。 对数据库数据进行清洗(numpy、pandas、matplotlib)。 基于运营需求,对数据
项目:1. 设计并开发爬虫系统,使用Scrapy框架爬取市场数据,负责产品数据爬取,然后进行mongodb存储,后台数据维护,数据清洗,对数据产品进行迭代和优化; 2. 对抓取数据进行消重,匹配,过滤等处理( 使用python相关的库(numpy、pandas)等,分析市场同类产品的价
案例: qq音乐数据获取(样列)qq音乐