本作品为基于 Kafka 和 Spark 的空气质量实时监测与预测系统,我独立完成从需求分析、架构设计到全流程开发与测试工作。系统采用大数据实时处理架构,通过 Requests 多线程采集全国 342 个城市空气质量数据,经 Kafka 消息队列实现高吞吐、低延迟的数据流传输,利用 Spark Streaming 完成实时清洗、聚合与统计分析,结果存入 MySQL 数据库。
系统集成随机森林回归算法构建 AQI 预测模型,结合 StandardScaler 完成特征标准化,实现未来一天空气质量智能预测。基于 Flask 搭建后端服务,使用 Echarts 实现数据大屏可视化,支持 AQI 热力图、污染物趋势、等级占比、健康提示词云等多维度展示,并提供用户登录注册、权限管理、后台数据管理等功能。
项目覆盖数据采集、消息队列、流式计算、机器学习、Web 开发全栈技术,可实时监测、分析、预测全国空气质量,适用于环境监管、公众服务与决策支持场景。