1、统一采集平台
平台核心功能包括任务多集群调度、拆分与执行,任务模型统一抽象、采集结果分发及采集组件与采集过程监控 ;系统基于Qiankun微前端架构,分为基座、采集子系统、分发子系统、主机监控子系统组成
负责平台整体规划设计及核心框架开发,包括1)规划子系统角色、功能及其制定子系统间其子系统模块间RSocket通信规范;2)基座模块集认证、网关、权限于一体化模型设计与开发;3)任务采集模型抽象,任务执行图生成规则设计;4)任务调度拆分算法设计;5)数据分发订阅、补推模型设计与开发等
2、微服务能力开放与治理平台
基于Spring Cloud + Istio的微服务治理与开放,包括API限速、融断、上线/下线、订阅、多版本发布等功能
负责系统整体设计与后端开发,包括基于Spring Cloud Gateway开发能力网关,支持动态调整路由、限速、融断策略,支持同步生成Istio策略。
3、用户上网日志分析平台
负责用户上网日志的采集及分析工作,通过FlumeNG进行分布式采集,分别落盘HDFS及HBase, 运用Spark 及Spark SQL基于用户上网日志分析应用市场占用率、热门搜索关键字等信息。