技术:1. 熟悉Python常用函数库和包; 2. 熟练掌握python,熟悉Scrapy、Pyspider框架 3. 熟悉MySql、Redis、MongoDB等数据库,对SQL优化有一定的经验; 4.熟悉网页抓取原理及技术,熟练掌握正则表达式、XPath、CSS等
项目:项目名称:垃圾焚烧监测数据 项目角色:Python爬虫 项目简介: 该项目需要爬取百度新闻推荐版的内容数据,要对不同板块的数据占比进行分析比较,需要通过 分析网页结构,对不同的板块分类的数据进行分类爬取存储,完成数据清洗工作,并进行定时爬取。 责任描述: 1.分析url
案例: 云播tv垃圾焚烧网站的数据分析