面向政法领域的企业级数据中台系统,解决9个司法业务系统数据孤岛问题,实现海量司法数据的统一采集、治理、存储、加工与服务化输出,为司法管理门户、依法治省应用、公共法律服务、行政执法、刑事执行等上层业务提供标准化数据支撑。平台架构设计(六层架构):
数据源层:公证管理系统、人民调解系统、法律援助系统、司法鉴定系统等9大业务系统,支持MySQL、Oracle、SQLServer、PG等多种异构数据库及Excel、CSV、XML、JSON、音视频等非结构化数据接入;
数据集成层: 基于Canal实现实时数据采集,设计离线开发与实时开发双链路,包含输入/输出/转换/流程/脚本/加解密等多种组件,支持任务管理、调度与运维监控;
数据存储层: 设计标准四层数仓模型——ODS(贴源层)、DWD(明细层)、DWS(轻度汇总)、ADS(数据应用层),采用ClickHouse承载亿级数据分析查询,适配人大金仓国产化数据库;
数据治理层: 建设完整数据治理体系,涵盖元数据管理、数据标准管理、数据质量管理(质量规则、质量模型、质量报告、质量告警)、主数据管理、数据生命周期管理、数据安全(分级分类、脱敏)及数据标签/指标体系;
数据服务层: 构建统一API网关,支持向导模式/脚本模式注册接口,提供API测试、服务发布、API集市,集成Token认证、服务鉴权、限流、IP白名单、脱敏、结果加密等安全机制;
数据应用层: 提供资产门户(主数据订阅、元数据查看、数据标签画像查看)、AI数据资产(自然语言查询、图表展示、Agentic Workflow)、在线数据报表服务(大屏设计、明细报表、内置报表模板)。
数据共享服务平台: 建立共享目录、共享标准、数据授权机制,提供可视化服务、AI赋能服务、地图服务、全要素搜索等能力服务,以及社区矫正、人民调解、法律援助等多类司法算法模型专题服务。项目成果:
汇聚9个业务系统结构化数据2.7亿条,非结构化数据15TB,建立统一数据接入标准;
形成完善的数据质检规则体系,覆盖全部结构化数据,自动生成质检报告;
搭建数据服务平台,对外自定义接口300+,共享接口150+;提供业务数据报表15份,大屏可视化展示数据总量18万+,交换总量7万+;荣获央视采访报道。