能吃辣了的案例列表
Pallas 分布式小文件存储系统
传统大数据平台（HDFS）原生不擅长存储海量小文件，大量小文件会导致 NameNode 元数据膨胀、内存压力增大、检索效率低下，难以满足图片、文档、日志等小文件高并发读写与检索的业务场景。Pallas 旨在为企业大数据/AI 平台提供统一的小文件存储与管理能力，解决小文件存储效率低、检索能力弱、缺乏多租户隔离与权限管控等问题，适用于网络安全日志取证、AI 训练样本管理等行业场景。 Pallas 是自主研发的分布式小文件存储系统，核心功能模块包括：1）Master/Worker 主从架构，支持基于 ZooKeeper 的 Master 选举与高可用；2）Namespace（命名空间）与 Buc...
DS玄机平台定制接口开发
基于 Apache DolphinScheduler 开源调度引擎进行二次开发,为公司内部"玄机平台"业务部门提供任务调度对接能力。负责调研并开发新增 REST API 接口:在 ProcessInstanceController 中新增工作流最近一次实例状态查询接口(支持单个及批量查询,覆盖提交、运行、暂停、失败、成功、容错等 11 种状态),供玄机平台实时获取任务执行情况;在 WorkerGroupController 中新增 worker 分组查询接口,便于玄机平台按分组调度任务;在 ProcessDefinitionController 中新增通过 API 创建任务...
