企业级大数据开发平台

猿急送>其他兼职程序员>战眸ゞ>

案例列表

基本信息

案例ID：233658

技术顾问：战眸ゞ - 10年经验 - 广联达科技股份有限公司

联系沟通

微信扫码，建群沟通

项目名称：企业级大数据开发平台

所属行业：企业服务 - 数据服务

->查看更多案例

案例介绍

 技术架构：Spring Boot、Spring Cloud、MyBatis、Redis、RabbitMQ、Hadoop、Flink、Spark、 Kyuubi、Dolphin Scheduler、MySQL
 项目介绍：
该平台提供数据全生命周期管理，包括数据规划、建模、集成、开发、查询、资产管理、质量监控、安全控制、权限管理、数据服务、元数据管理和可视化等核心功能。平台支持数据治理、标准化和流批一体化计算，助力企业高效管理数据资产、提升数据质量、增强数据安全性。该项目已成功交付 60+ 私有化环境，日均处理数据任务 10万+，为企业数字化转型提供支撑。
 职责与贡献：
 架构设计与核心研发：全程参与平台架构设计，主导数据建模、数据质量、数据安全、数据资产、
元数据管理等模块的技术选型与核心开发。
 任务调度优化：定制 Dolphin Scheduler 调度引擎，优化任务调度策略，使执行效率提升 50%。
 资源管理优化：优化环境适配与资源分配，使系统稳定性提升 40%，并发处理能力提升至 5000+ 任
务。
 元数据管理：支持 10+ 种数据源，数据检索效率提升 50%。
 代码优化：重构任务中心，采用工厂模式 + 适配器模式，代码复用率提升 35%，降低维护成本。
 跨版本迁移能力：设计迁移助手，支持跨版本迁移，迁移速度提升 10 倍，减少 70% 手动迁移成
本。