Aqiu

完成过三个大数据技术专业的毕业设计，一个是应届生网站的招聘信息数据的分析和可视化，一个是安居客北京租房数据分析和可视化，还有一个是基于协同过滤算法的电影推荐系统。前两个都是拿python的senlenium+xpath爬取网站的数据，然后使用padnas对数据进行预处理，处理完之后存入mysql和hadoop的hdfs上面，然后使用spark对数据进行分析，将分析的结果存入MySQL，然后使用false+ecahrs从mysql抽取分析的结果做成可视化大屏。然后电影推荐系统就是从网上下载的数据，根据als协同过滤算法训练模型，从而对一个用户进行推荐其他没有看过的电影。