熟练掌握 Java、Python 两门开发语言,具备扎实的编程基础与数据处理能力。大数据方向深入理解 Hadoop 生态体系,熟练使用 Hive 进行离线数仓搭建与 SQL 开发,掌握 ODS/DWD/DIM/DWS 四层标准数仓建模规范,可独立完成外部表设计、数据清洗、维度构建、指标聚合全流程;熟悉 HDFS 分布式存储、YARN 资源调度原理,能完成集群基础运维与任务调优。数据库方面熟练使用 MySQL 进行表结构设计与复杂 SQL 优化,了解 Redis 缓存的业务应用。后端可基于 Spring Boot 框架完成业务接口与权限模块开发,前端能使用 Vue.js 实现基础页面交互,具备从业务需求到数据落地的全链路实现能力。
针对平台全量业务数据,基于 Hadoop 集群搭建标准四层离线数仓,为中长期运营分析提供统一数据支撑。技术栈为 Hadoop + Hive + HDFS + Parquet,个人负责全数仓架构设计,全层级采用外部表模式保障原始数据安全;完成 ODS 层 30 张业务表的贴源映射,原样留存原始数据快照;设计 DWD 层清洗规则,完成脏数据过滤、字段衍生、地址拆分与格式标准化;构建 DIM 公共维度层,统一行业、城市、日期、学历全局统计口径;开发 DWS 层多主题汇总宽表,预聚合行业、城市、企业维度的运营指标。项目落地后统一了全平台统计口径,大幅提升多维度查询效率,稳定支撑运营报表与可视化大屏的数据供给。
本项目是一套融合业务管理与大数据分析的招聘推荐与分析系统,采用前后端分离架构开发,覆盖求职者前台、管理员后台、智能岗位推荐、运营数据可视化、离线数仓分析五大核心板块。前台实现岗位检索、简历管理、职位收藏、简历投递、在线沟通等全流程求职功能;后台提供职位、企业、行业、权限、日志、系
本项目是一套基于大数据技术的农产品价格分析预测系统,采用前后端分离架构开发,覆盖管理后台与用户前端两大终端,整合数据运维、可视化分析、价格预测、离线数仓四大核心能力。 管理后台实现用户账号管理与农产品价格数据全生命周期运维,支持数据检索、分页查询、批量删除等功能,可管理 570