追月的案例列表
知款
- 于2021年初将图片业务从线下的hadoop集群迁移到阿里云max_compute, 参照了阿里云的one-data体系, 对图片业务进行分层建模(ods,dwd等), 映射到离线架构的不同模块, 以更系统的, 更规范的方式重新定义了公司的数据开发流程, 同时也解决了线下机房集群弹性扩容不易的问题 - 主导并负责了对公司实时计算链路的一站式架构设计, 将公司实时性较高的业务由原来小时调度的伪实时结构调整到了kappa架构, 并对数据明细层做落盘处理, 在保证数据质量的前提下真正实现了实时处理 - 借鉴flink的exactly-once语义,elastic的segment定义和
城市大脑天擎系统
- 针对elasticsearch script向量搜索速度过慢的问题, 通过自研聚类索引, 在物理机器资源有限的情况下, 有效提高了近8倍搜索性能同时对搜索结果的召回率达到90%以上 - 针对省, 市间数据访问不可见的问题, 采用轻量级的restful风格搭建了接口级统一口径的数据访问服务, 提供了权限认证, 联合布控, 跨区域搜索等精细化服务 - 通过webservice, rocketmq等多种手段, 打通了省级市级的数据网络屏障, 从无到有的搭建了整体的数据传输链路 - 借鉴flink栅栏的思想, 自研了数据延时监控系统, 以更低的资源占用达到了实时监控各节点数据的延时
案例判断参考
追月的案例列表
知款
- 于2021年初将图片业务从线下的hadoop集群迁移到阿里云max_compute, 参照了阿里云的one-data体系, 对图片业务进行分层建模(ods,dwd等), 映射到离线架构的不同模块, 以更系统的, 更规范的方式重新定义了公司的数据开发流程, 同时也解决了线下机房集群弹性扩容不易的问题 - 主导并负责了对公司实时计算链路的一站式架构设计, 将公司实时性较高的业务由原来小时调度的伪实时结构调整到了kappa架构, 并对数据明细层做落盘处理, 在保证数据质量的前提下真正实现了实时处理 - 借鉴flink的exactly-once语义,elastic的segment定义和...
城市大脑天擎系统
- 针对elasticsearch script向量搜索速度过慢的问题, 通过自研聚类索引, 在物理机器资源有限的情况下, 有效提高了近8倍搜索性能同时对搜索结果的召回率达到90%以上 - 针对省, 市间数据访问不可见的问题, 采用轻量级的restful风格搭建了接口级统一口径的数据访问服务, 提供了权限认证, 联合布控, 跨区域搜索等精细化服务 - 通过webservice, rocketmq等多种手段, 打通了省级市级的数据网络屏障, 从无到有的搭建了整体的数据传输链路 - 借鉴flink栅栏的思想, 自研了数据延时监控系统, 以更低的资源占用达到了实时监控各节点数据的延时...
