安徽兰智大数据科技有限公司 数据开发
协助清洗、整理和处理大规模数据集,使用Python、Scala或Java等编程语言进行数据分析。
协助设计和构建ETL(提取、转换、加载)流程
使用Hadoop、Spark等大数据技术支持数据的高效处理,与团队成员合作,参与项目的设计和开发,撰写技术文档,记录开发
过程和结果。
使用数据可视化工具FinBI展示数据分析结果。
电影数据分析
1、编写爬虫文件爬取豆瓣电影信息数据并进行本地化存储。
2、将本地文件中的数据导入到hive(ods层
3、数据清洗(dwd/dws层)
4、数据分析(ads层)
5、将hive数据库中ads层数据导入mysql数据库
6、利用FineBI进行数据可视化