分布式对象存储系统
案例介绍
从0到1参与分布式对象存储系统的设计与开发，为公司提供了小文件对象存储的底层能力
【项目背景】
由于公司业务对于小文件的存储有着强烈需求，需要开发一个分布式对象存储的系统，其必 须具备支持任意大小对象的读写、数据强一致性、服务可扩展性高。
【项目描述】
项目分三个模块，模块之间使用grpc进行通信。
1. meta模块 负责管理副本组信息及节点服务信息，使用Raft协议保证节点之间的数据一致性。
2. gateway模块 负责对外提供RestFul接口，兼容S3协议，将数据流切包、压缩成对象包发送给 datanode模块。
3. datanode模块 负责存储block数据及对象元信息，采用Rocksdb存储对象元信息，分区使用 PacificA一致性协议实现数据冗余。
该项目支撑了公司的底层存储，支持6000+QPS的请求写入，毫秒级的小文件读写速度。
【负责模块】
gateway模块、datanode模块
分布式对象存储系统
案例介绍
分布式对象存储系统
从0到1参与分布式对象存储系统的设计与开发，为公司提供了小文件对象存储的底层能力
【项目背景】
由于公司业务对于小文件的存储有着强烈需求，需要开发一个分布式对象存储的系统，其必 须具备支持任意大小对象的读写、数据强一致性、服务可扩展性高。
【项目描述】
项目分三个模块，模块之间使用grpc进行通信。
1. meta模块 负责管理副本组信息及节点服务信息，使用Raft协议保证节点之间的数据一致性。
2. gateway模块 负责对外提供RestFul接口，兼容S3协议，将数据流切包、压缩成对象包发送给 datanode模块。
3. datanode模块 负责存储block数据及对象元信息，采用Rocksdb存储对象元信息，分区使用 PacificA一致性协议实现数据冗余。
该项目支撑了公司的底层存储，支持6000+QPS的请求写入，毫秒级的小文件读写速度。
【负责模块】
gateway模块、datanode模块
案例图片
相似案例推荐
-
手机会员系统
会员系统主要为拥有账号的用户提供会员特权服务，用户可以在vi
-
在线手机网关群发,短信收发，
特点： 仪表板– 美观且响应迅速的仪表板，适用于您的用
-
某背调平台
背调平台是一款基于大数据和人工智能技术的企业员工背景调查平台
-
企业支付担保服务平台
基于Java体系，利用Apache dubbo微服务架构构建
-
家政saas平台
家政 SaaS 平台项目，产品定位是一款家政公司经营拓客的工
-
生产管理系统
自主研发的生产管理系统，同时也包含了订单业务功能，wms和m
1小时精推人才
需求方专属客服，免费梳理匹配
