项目职责:接口开发与交付
作为接口提供方,负责某市权益系统对外接口的设计、开发与维护,向多个下游业务系统提供权益查询核心能力。
技术实现:基于 Java / Spring Boot 构建 RESTful API,采用 Token + 签名机制保障接口安全,并通过日志与异常拦截器实现全链路监控。
数据交互:对接 PG 数据库,设计合理的表结构与索引,支撑高并发下的权益数据读取。
交付成果:接口日均调用量达 700万次,响应时间控制在 8s以内,成功支撑了市民权益业务的线上化运行。
项目职责:数据仓库建设与ETL开发
为保障权益查询系统的数据时效性与准确性,主导了数据底座→清洗汇总→数据服务的全链路建设:
任务开发:使用 Hive SQL 编写每日定时任务,调度平台(如 DolphinScheduler / Oozie)实现自动化运行。
数据处理:每日对底座数据进行多维度清洗(去重、空值处理、格式标准化)及分层汇总(按天/按权益类型等维度统计),产出高可用汇总和明细信息。
数据写入:将处理后的结果数据通过同步机制批量写入 PG 数据库,建立合理的表分区与索引,保障权益查询接口的毫秒级响应。
最终目标:构建了稳定、可靠、可追溯的权益数据查询基础,为前端权益核验、统计分析等场景提供坚实的数据底座。