项目描述:
该项目旨在构建一个灵活、高效的数据分析系统 ,以解决微博分析师团队面临的大量数据业务需求。该系统允许分析 师通过页面直观地选择业务模型、维度和指标 ,进行二次计算和可视化展示 ,从而极大地提升了工作效率。系统后端设计 兼容多种数据源计算引擎 ,如MySQL、 Presto、Click House和Druid ,确保了广泛的数据接入能力和强大的计算性能。
责任描述:
• 后端整体架构与开发: 主导系统的整体架构设计 ,并承担了核心开发工作。负责制定合理的开发计划 ,并监控开发进 度 ,确保项目按时交付。
• OLAP数据模型建设与维护: 我负责构建了基于OLAP的数据模型 ,该模型能够高效地支持复杂的数据分析和查询操
作。在模型建设过程中 ,我深入理解了业务需求 ,并设计了合理的数据结构和存储策略。后期 ,我还负责了数据模型的 维护和更新工作 ,以适应业务的发展和变化。
• 数据质量监控机制: 为了保障数据在各个计算环节的正确性 ,我实现了一套完善的数据质量监控机制。该机制能够实时 检测数据的异常和错误 ,并及时发出警报 ,确保分析师能够获取到准确、可靠的数据结果。
• 计算执行性能优化: 针对系统计算过程中的性能瓶颈 ,我进行了深入的分析和优化工作。通过优化算法、调整计算资源 配置等方式 ,我成功地减少了不必要的计算资源消耗 ,提高了系统的整体性能和响应速度。
技术相关:
hive,presto,clickhouse,mysql,druid,python,spark,redis