北京金山云网络技术有限公司
存储研发工程师
2022.06 - 2025.09
项目:金山云ESSD — 分布式块存储系统(DBS)核心研发(单盘百万IOPS,4GB/s吞吐,可靠性9个9)
1. 元数据服务(DataMaster)开发:基于bRaft共识算法实现高可用元数据管理,设计多Raft组分片方案
(997个组),将Block元数据按ID哈希分布,解决单组性能瓶颈,支撑百万级云盘;负责Block生命周期管理
、副本分布、负载均衡及故障自动恢复流程。
2. 存储节点(DataServer)核心功能:实现数据块的读写、副本同步(SequenceBlock追加写与RandomBlock
随机写)、磁盘管理与故障处理;设计并开发数据盘的插入/踢出方案,以及坏盘模拟、检测与自动处理功
能,基于SMART信息与I/O错误率触发自动迁移,保障“永不停写”。
3. 高性能存储引擎:设计并实现用户态块系统(User Space Block System),基于SPDK绕过内核I/O栈直接
操作NVMe SSD,实现微秒级延迟与高吞吐;通过元数据与数据分离的磁盘布局(Meta/Zone/Object),优化小
IO写放大,并支持TRIM高效回收。
4. 客户端SDK(DataClient):实现多副本写入策略(写多数派与写全副本),设计落后副本异步追补机制,
保证副本最终一致;集成BRPC(控制流)与UCX(数据流,基于RDMA)双网络栈,提升跨节点通信效率。
5. 测试与运维:负责压缩盘性能测试、版本迭代的性能摸底与稳定性压测(使用FIO等工具),分析IOPS/延
迟/吞吐数据;参与线上产品值班,快速定位并修复存储节点异常、副本不一致等生产问题。