技术:熟练使用scrapy进行数据获取,熟练采集上交所、深交所、等一些金融媒体网站数据。数据采集用到python、mysql、redis、破解登陆验证码等。对采集数据进行去重,断点续爬。 对数据库数据进行清洗(numpy、pandas、matplotlib)。 基于运营需求,对数据
项目:1. 设计并开发爬虫系统,使用Scrapy框架爬取市场数据,负责产品数据爬取,然后进行mongodb存储,后台数据维护,数据清洗,对数据产品进行迭代和优化; 2. 对抓取数据进行消重,匹配,过滤等处理( 使用python相关的库(numpy、pandas)等,分析市场同类产品的价
案例: qq音乐数据获取(样列)qq音乐
技术:1.具有面向对象思想,扎实的编程功底以及良好的编码习惯; 2.精通java,python语言开发,并为交易所验收部门做过多次大型培训,熟悉c#开发; 3.熟练掌握VUE,FREEMARK,Javascript,jQuery等各前端框架及技术并能熟练全栈开发; 4.熟练掌握S
项目:2019/06-至今 OMEAG2.0非功能测试平台 所属公司: 上海证券交易所 项目描述: 1、开发环境: IDEA2017+Tomcat7.X+Mysql5.X+SVN+Maven+jdk8+Radis 2、软件架构: SSM+Ftl+websocket+EZOS+Qu
案例: 亚军农产品