技术:1. 熟悉Python常用函数库和包; 2. 熟练掌握python,熟悉Scrapy、Pyspider框架 3. 熟悉MySql、Redis、MongoDB等数据库,对SQL优化有一定的经验; 4.熟悉网页抓取原理及技术,熟练掌握正则表达式、XPath、CSS等
项目:项目名称:垃圾焚烧监测数据 项目角色:Python爬虫 项目简介: 该项目需要爬取百度新闻推荐版的内容数据,要对不同板块的数据占比进行分析比较,需要通过 分析网页结构,对不同的板块分类的数据进行分类爬取存储,完成数据清洗工作,并进行定时爬取。 责任描述: 1.分析url
案例: 云播tv垃圾焚烧网站的数据分析
技术:编程上,熟练运用 SQL 精准查询数据,Python 与spss用于复杂的数据分析与算法实现,大幅提升数据处理效率。Excel 操作娴熟,熟练使用数据透视表、统计函数等,深度剖析数据价值。统计学基础扎实,能依据数据特征构建精准模型,预测趋势走向。在可视化呈现方面,擅长用 Tabl
项目:1、电信用户流失情况分析,通过已知用户特征预测用户流失情况 • 数据分析:利用python对7000条用户流失数据进行重复值,缺失值,异常值清洗,分别利用python和tableua数据可视化,采用多模型比较模拟效度 • 项目结果:使用xgboost模型预测效果最好,预测准确
案例: 数据分析