EzBigData分布式数据服务平台 研发经理
EzBigData是一个基于Hadoop/HBase/Spark的分布式数据服务平台。主要负责设计、编码实现、研发管理及应用培训工作。主要负责以下部分的设计与研发:
1. 设计并实现了HBase批量数据导入功能,可以通过配置而非硬编码的方式将不同来源的数据以不同的格式导入HBase库。
2. 设计并实现了对HBase的索引功能,采用了Rowkey重排和Rowkey二级索引表两种方式。
3. 设计并实现了多个面向业务的MapReduce\Spark分布式计算模型,对数据进行统计分析。 同时利用HBase Coprocessor 技术,做一些范围较小但实时性要求很强的业务统计。
4. 设计并在EzBigData使用了一种全新的四叉树的索引方式,用来对二维的地理位置空间点数据的索引、分页查询等操作进行优化。相关技术正在申请专利中,并独立作为新的产品EzSpatialIndex供公司研发人员使用。
5. 主导或参与了部署工具开发、前端页面设计等工作
公司系统微服务化升级改造 架构师
主导了微服务化升级改造工作,负责需求调研、开源技术选型、整体设计、基础服务的研究、开发与部署工作。并主导了携程数据下载服务微服务化改造升级工作,作为技术指导参与了其他若干微服务化改造工作。