## 项目背景与目标
本项目旨在将承载数十亿行核心日志和明细数据（如海量行为日志、ODS事件埋点等）的 StarRocks 3.0 存算一体老集群，平滑向 4.0 存算分离（shared_data）架构升级。我们将底层存储整体迁移至 S3 对象存储，大幅提升了集群弹缩能力并降低了硬件存储成本，同时依靠计算节点缓存（DataCache）保障了近线核心报表与复杂查询的高性能响应。

## 详细功能与技术实现
1. 存算分离架构落地：统筹规划搭建 FE 与部分按需扩展计算节点(CN)，应用 S3 Volume 作为主存储器，为 CN 规划 SSD DataCache 机制兼顾冷热数据平衡。
2. 数据模型重构与提效：对数十 TB 宽表重塑时间分区和分桶(Tablet)策略；针对高频统计构建按日聚合的物化视图(MV)，把重度 IO 成功转化为全扫描检索，提升执行效率。
3. 海量全量与实时增量双线迁移：使用 DataX 编写按时间分区调度的并发任务，稳妥迁移数百 TB 历史数据；依靠 Routine/Stream Load 构建微批次实时流写入。
4. 查询治理规范化：确立线上必须按分区/列裁剪等强过滤准则，规避远端云存储拉取瓶颈。

## 我的角色与职责
作为项目大数据开发核心负责人，全程主导存算分离的技术方案评估与迁移落地：
- 架构规划：独立完成集群资源拓扑定义与 S3 对象存储卷连通设计。
- 实施开发：开发调试 DataX 历史同步脚本与 Kafka Routine Load 实时消费链路。
- 优化攻坚：诊断线上慢查询，主导底层 DDL 建表优化，结合缓存物理特性大规模重做复杂 SQL 改写。
- 交付引流：负责双写期间的数据质量及性能双重校验，最终实现了新集群业务的零故障平滑割接。