anthena(雅典娜)上报系统 开发主力 项目描述:雅典娜上报系统是一个数据上报服务系统(ETL工具),承接着数据仓库和第三方雅典娜系统,数仓每天会将前一天 的业务数据定时的推送到文件系统中,上报系统的主要功能是从ceph文件系统中将数据下载下来,然后解析入库之后,通过接 口HTTP请求方式上报到第三方的雅典娜系统中,雅典娜系统即可对一些可疑的业务数据进行数据分析。 项目模块: 告警模块,解析入库模块,接口上报模块, 统计模块,数据备份模块 技术栈: ssm+Quartz+dubbo+zk+ceph文件系统 项目技术点: 百万级数据量解析入库 批量上报请求分段处理 token缓存机制处理 请求失败重试处理 失败接入告警机制 历史数据重新跑批处理 支持多实例集群部署 zk实现分布式锁 项目职责: 负责整个项目的全流程开发,项目中承担主要负责人的角色。对一些功能进行过优化,从一开始设计使用三个定时任 务分别处理后面优化为一个定时任务去处理整个流程任务。token(失效时长为1一个小时)的获取方式优化为缓存获取方式,请 求接口之间的关联前后依赖顺序,接口请求失败重试机制