一、项目架构:springboot+ mybatis+redis+ACL权限
二、项目描述:用于支撑所有网络数据开发处理的场景和需求。例如数据可能维度多样化,按照时间,用户、自定义集合等,数据平台可以将数据以维度聚合的形式展示给用户。
三、项目难点:
1.支持fink任务场景多样化,不同的计算逻辑,不同的聚合粒度
2.link任务批量生成发布,保证任务的成功率以及感知所有的任务运行信息
1.优化协议,规范入口数据结构,细分场景模型
2.将业务解耦,并发执行业务逻辑,回调任务信息,完善异常体系
四、模块描述:
1.数据源管理
2.资源包管理
3.血缘系统
4.自动化运维
5.计算任务生成
六、职责概述:
1.血缘系统的设计与开发:任务之间的数据源可能会有关联关系,在一 一个任务出问题的时候, 可以通过血缘系统进行问题排查
2.计算任务生成:用户在页面对数据源配置好参数之后,要根据用户的参数生成符合计算系统逻辑的可执行代码。
3.各种场景的bug修复