技术:1. 熟悉Python常用函数库和包; 2. 熟练掌握python,熟悉Scrapy、Pyspider框架 3. 熟悉MySql、Redis、MongoDB等数据库,对SQL优化有一定的经验; 4.熟悉网页抓取原理及技术,熟练掌握正则表达式、XPath、CSS等
项目:项目名称:垃圾焚烧监测数据 项目角色:Python爬虫 项目简介: 该项目需要爬取百度新闻推荐版的内容数据,要对不同板块的数据占比进行分析比较,需要通过 分析网页结构,对不同的板块分类的数据进行分类爬取存储,完成数据清洗工作,并进行定时爬取。 责任描述: 1.分析url
案例: 云播tv垃圾焚烧网站的数据分析
技术:1.熟悉Java服务器端编程,熟悉B/S结构开发模式、J2EE体系架构及及主流开发框架(Spring、Spring MVC、Mybatis等)、python自动化爬虫 2.熟悉 SpringBoot 、Springcloud 、Mybatis 等开源框架 3.熟悉 Idea
项目:1.熟悉Java服务器端编程,熟悉B/S结构开发模式、J2EE体系架构及及主流开发框架(Spring、Spring MVC、Mybatis等)、python自动化爬虫 2.熟悉 SpringBoot 、Springcloud 、Mybatis 等开源框架 3.熟悉 Idea
案例: 采矿权登记网爬虫