2019.3 - 2022.3 | 感知融合数据赋能平台 | Hadoop+Kafka+ES+Hbase+Hive+Spark+Redis+Mysql+Flink等
项目背景:对全国各地人、车、wifi等数据综合管理,提供数据分布式采集|清洗|转换|存储|查询|计算|分析等功能。
项目成绩:项目海内外落地数量300+,核心开发大型复杂系统5+,独立完成定制项目10+,解决紧急运维问题130+;
项目职责:
1.负责各业务各基线版本需求、设计、研发、优化、迭代、升级、维护等工作;整体超出预期,连续季度良好。
2.负责经纬度、模型布控、可配置化等5+重点功能开发优化;节省Redis内存80%;覆盖95%同类场景。
3.负责数据实时采集、多维度查询、立方统计等功能;更换Hive方案,优化Spark任务;查询效率提升300%。
4.负责全文检索、数据分析等核心模块;重点优化ES、Hbase查询;大幅提高速度与准确性,客诉率下降90%。