技术:熟练使用scrapy进行数据获取,熟练采集上交所、深交所、等一些金融媒体网站数据。数据采集用到python、mysql、redis、破解登陆验证码等。对采集数据进行去重,断点续爬。 对数据库数据进行清洗(numpy、pandas、matplotlib)。 基于运营需求,对数据
项目:1. 设计并开发爬虫系统,使用Scrapy框架爬取市场数据,负责产品数据爬取,然后进行mongodb存储,后台数据维护,数据清洗,对数据产品进行迭代和优化; 2. 对抓取数据进行消重,匹配,过滤等处理( 使用python相关的库(numpy、pandas)等,分析市场同类产品的价
案例: qq音乐数据获取(样列)qq音乐
技术:Web开发: Python(使用flask开发Web应用) Web框架: Django/Flask(项目中,使用Django开发电商平台) 前端语言:HTML/CSS/JS(使用HTML/CSS/JS开发个人项目的前端页面) 前端框架:React(使用React完成项目中相
项目:哒哒哒哒哒哒多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多d's哒哒哒哒哒哒多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多多d's哒哒哒哒哒哒多多多多多多多多多多多多多多多多多多多多多多
案例: 爬虫