明天见

高级数据工程师
堃垚集团 · 8年经验
明天见
日薪: ¥500/8h
地点: 其他
时间: 下班后周六周日可工作日远程
ID:439751 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Spring Boot Spring Kafka Vue Flink Java MySQL Oracle PostgreSQL Spark Hive Docker
负责过「幻海一站式大数据治理平台」「企业经营分析与 BI 指标维护平台」「南钢数据治理项目」的开发。其中幻海平台由我从 0 到 1 主导建设,已在企业生产环境稳定运行:接入 12 个数据源,管理 1,500 多个同步作业,每天运行约 5,300 次,数仓约 1,700 张表、9 亿多行。
熟练使用 Java / Spring Boot、Flink / Flink CDC、DataX / SeaTunnel、DolphinScheduler、PostgreSQL / MySQL / Oracle,也熟悉 Hive、Spark、Kafka、Docker、Vue 3。
可以承接:数据平台搭建、数仓分层建模、批量和实时数据同步、调度体系建设、BI 看板与报表开发、数据库性能调优与版本升级。

1、我的职责:担任平台架构师兼核心开发,从 0 到 1 负责需求分析、架构设计与技术选型、前后端核心开发、生产部署与运维,并负责公司数仓分层建模和各部门报表交付。引入 AI 编码工具提升交付效率,本人负责架构决策、技术选型、问题定位与测试验收。
2、技术栈与架构:Spring Boot 3.5(Java 17)+ Vue 3 + Element Plus + Vite;PostgreSQL 同时作平台库和数仓;DataX、Flink CDC、SeaTunnel 三类同步引擎,SQL Server 实时链路对接 CloudCanal;DolphinScheduler 调度;组件全部 Docker 化,单机即可部署。
3、亮点与难点:
① 同步不丢数:任一行写不进去即判失败,日志直接指出哪一列、什么原因;整表覆盖写 PostgreSQL 可先写临时表、成功后一次替换,中途失败目标表原样不动。
② 实时链路整合:原来每张表一个 Flink CDC 作业(48 个),改为按库实例合并成 5 个整库作业,目前覆盖 150 多张表,可从断点续传。
③ 调度状态一致:平台作业与 DolphinScheduler 实例双向绑定、状态回传,解决失败重跑、停止后状态反转、孤儿实例等问题。
④ 生产运维:平台整体迁移到新服务器;用 pg_upgrade 完成 PostgreSQL 15→18 大版本升级,停机 39 分钟;经大页内存、WAL 和后台写进程调优,强制检查点占比从 52% 降到 6%。
⑤ 生产规模:接入 12 个数据源、1,500 多个同步作业,日均运行约 5,300 次、成功率 99.99%;数仓约 1,700 张表、9 亿多行;51 个 BI 看板。
明天见 ID:439751 复制

明天见

高级数据工程师 · 8年经验 · 堃垚集团
城市其他 日薪500元/8h 时间 下班后周六周日可工作日远程
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Spring Boot Spring Kafka Vue Flink Java MySQL Oracle PostgreSQL Spark Hive Docker
负责过「幻海一站式大数据治理平台」「企业经营分析与 BI 指标维护平台」「南钢数据治理项目」的开发。其中幻海平台由我从 0 到 1 主导建设,已在企业生产环境稳定运行:接入 12 个数据源,管理 1,500 多个同步作业,每天运行约 5,300 次,数仓约 1,700 张表、9 亿多行。
熟练使用 Java / Spring Boot、Flink / Flink CDC、DataX / SeaTunnel、DolphinScheduler、PostgreSQL / MySQL / Oracle,也熟悉 Hive、Spark、Kafka、Docker、Vue 3。
可以承接:数据平台搭建、数仓分层建模、批量和实时数据同步、调度体系建设、BI 看板与报表开发、数据库性能调优与版本升级。

项目经验

1、我的职责:担任平台架构师兼核心开发,从 0 到 1 负责需求分析、架构设计与技术选型、前后端核心开发、生产部署与运维,并负责公司数仓分层建模和各部门报表交付。引入 AI 编码工具提升交付效率,本人负责架构决策、技术选型、问题定位与测试验收。
2、技术栈与架构:Spring Boot 3.5(Java 17)+ Vue 3 + Element Plus + Vite;PostgreSQL 同时作平台库和数仓;DataX、Flink CDC、SeaTunnel 三类同步引擎,SQL Server 实时链路对接 CloudCanal;DolphinScheduler 调度;组件全部 Docker 化,单机即可部署。
3、亮点与难点:
① 同步不丢数:任一行写不进去即判失败,日志直接指出哪一列、什么原因;整表覆盖写 PostgreSQL 可先写临时表、成功后一次替换,中途失败目标表原样不动。
② 实时链路整合:原来每张表一个 Flink CDC 作业(48 个),改为按库实例合并成 5 个整库作业,目前覆盖 150 多张表,可从断点续传。
③ 调度状态一致:平台作业与 DolphinScheduler 实例双向绑定、状态回传,解决失败重跑、停止后状态反转、孤儿实例等问题。
④ 生产运维:平台整体迁移到新服务器;用 pg_upgrade 完成 PostgreSQL 15→18 大版本升级,停机 39 分钟;经大页内存、WAL 和后台写进程调优,强制检查点占比从 52% 降到 6%。
⑤ 生产规模:接入 12 个数据源、1,500 多个同步作业,日均运行约 5,300 次、成功率 99.99%;数仓约 1,700 张表、9 亿多行;51 个 BI 看板。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏