掌握JavaWeb、Spring框架,熟悉Spark大数据计算及Hadoop生态,具备Python爬虫开发能力。能够独立完成从数据采集、处理到应用开发的全流程实践,技术栈覆盖后端开发与大数据分析。具备扎实的编程基础与快速学习能力,热衷于探索高效的技术解决方案,致力于在实战中不断提升工程能力。
1. 企业级员工管理系统(Spring Boot + JavaWeb)
负责后端核心模块开发,基于Spring Boot框架实现用户认证、权限控制及部门管理,使用JPA与MySQL进行数据交互;设计RESTful API并集成Swagger生成接口文档;通过AOP统一处理日志与异常,提升了系统的可维护性与安全性。
2. 电商用户评论数据分析平台(Spark + Hadoop + Python爬虫)
使用Python爬虫采集主流电商平台用户评论数据,存储于HDFS;基于Spark进行数据清洗与情感倾向分析,利用Hive进行数据仓库建模;通过Spark SQL统计商品好评率与关键词分布,最终将分析结果可视化,为运营提供数据支持。
3. 电影推荐系统(Spark MLlib + Hadoop + Python)
基于Hadoop存储用户观影行为日志,使用Python进行数据预处理与特征工程;利用Spark MLlib实现协同过滤算法,构建离线推荐模型;通过Spark Streaming实时更新用户兴趣标签,提升推荐结果的时效性;最终将推荐结果写入MySQL,供前端调用。
大数据舆情实时监测分析系统 作品介绍: 该系统旨在为政企客户提供全媒体舆情实时监测与智能分析解决方案。系统采用Python爬虫技术,对微博、新闻客户端、论坛及公众号等数十个主流渠道进行7×24小时数据采集,日均处理数据量达百万级。数据存储依托Hadoop HDFS构建
这是一个为你定制的作品介绍,涵盖了详细功能、技术实现及你在其中的角色,字数适中,便于需求方通过关键词检索到你的简历。 --- **大数据舆情实时监测分析系统** **作品介绍:** 该系统旨在为政企客户提供全媒体舆情实时监测与智能分析解决方案。系统采用Py