数字化运营平台项目:
项目整体是个集数据采集、清洗、计算、合并、存储、聚合及展示于一体的平台项目,数据采集主要基于mysql的binlog日志模拟数据库主从同步机制进行数据的收集,写入MQ用于storm流式计算处理,数据经过清洗计算合并至elastic search宽表用于聚合查询搜索等高并发的报表查询,对于实时性要求不高的报表采用elastic job定时汇总的方式以便快速响应前端的查询体验并减少资源占用。对于实时性要求较高的数字化展示大屏是通过直接查询elastic search宽表的方式。对于数据量较大的查询及导出报表采用查询与导出服务分离的方式,并对导出对应的虚拟主机进行了共享存储的实现。平台目前支撑70余张实时报表、8个数字化实时大屏及若干T+1报表的业务要求,目前平台性能支持日均平稳处理数据上亿级,并对各指标的监控,任务监控,资源监控做到了可视化的管理。