我参与的百亿级数据量人员流动与实时预警大数据平台，是一个服务于公共安全与大型场所管理的综合性系统。平台核心目标是通过对海量实时轨迹与行为数据的处理，实现人流密度监控、异常聚集预警、个体实时定位及历史轨迹追溯，为指挥决策提供数据支撑。
在该平台中，我主要负责**实时计算引擎部分的设计、开发与运维**。具体职责与工作成果如下：
1. **核心实时计算开发**：我使用 **Apache Flink** 作为统一的流处理引擎，负责构建实时数据处理管道。从 **Kafka** 消费原始业务与日志数据后，我开发的Job完成了关键的实时清洗（过滤无效数据、格式化）、多维统计（如区域实时人数、流动速度）以及复杂事件处理（如识别“长时间滞留”、“特定区域聚集”等业务规则，并触发实时告警事件）。
2. **性能优化与稳定性保障**：面对百亿级数据吞吐，我深入优化Flink Job性能，包括合理设计**状态后端**、调整并行度、合并**算子链**以减少网络Shuffle，并对窗口、Join等关键算子进行调优，显著提升了吞吐量并降低了处理延迟。同时，通过优化检查点（Checkpoint）配置与状态管理，确保了任务在故障下的**精确一次（Exactly-Once）** 语义和快速恢复能力。
3. **数据质量治理**：为确保实时数据的准确性与可信度，我设计并实施了**实时-离线数据一致性比对**方案。每日定时将Flink计算的关键实时指标结果（如每日累计人次）与基于**Hive**的离线T+1全量计算结果进行比对，计算差异率。我开发了数据质量看板，持续跟踪该指标，一旦差异超出阈值（如0.5%），便会触发告警，驱动开发团队排查实时逻辑或数据源问题，形成了数据质量的闭环管理。
我是实时计算链路的核心开发与负责人，从数据接入Kafka后的实时处理逻辑开始，到结果写入**Redis**（供实时查询）、**HBase**（详单存储）、**ES**（轨迹检索）的整个流程，均深度参与设计与实现。我确保了实时计算部分的**高可用、高性能与高数据质量**，使实时人流监控、秒级告警等核心功能得以稳定、可靠地服务于上层应用系统。