编程阿宝
高级大数据开发工程师
滴灌通科技有限公司 · 8年经验
日薪：
￥1000/8h
地点：
深圳 福田
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1、数仓架构与建模：具备企业级数据仓库从0到1的完整搭建经验，精通数据仓库分层架构设计（ODS/DWD/DWS/ADS）及数据集市理论，成功主导并落地多个企业级数仓项目。
2、大数据平台生态：具备独立部署与运维CDH大数据集群的能力，熟练管理HDFS、Hive、HBase、Spark、Flink、MapReduce、Sqoop等核心组件；深度使用阿里云DataWorks进行大数据开发与数据治理。
3、离线与实时计算：精通Spark、Hive等主流离线计算框架，具备复杂业务场景下的性能调优经验；熟练掌握Flink、Spark Streaming等流式计算引擎，能够高效完成实时数据链路的开发与优化。
4、OLAP与关系型数据库：熟悉ClickHouse、StarRocks等新一代OLAP数据库的底层架构及适用场景；精通MySQL、PostgreSQL等常规关系型数据库的日常使用、SQL编写及深度性能调优。
5、数据采集与传输：熟练使用Flume进行日志采集及集群部署；深入理解Kafka工作机制，能高效实现Kafka与Spark/Flink的流式对接；精通DataX、Sqoop等数据同步工具，熟练完成关系型与非关系型数据库间的异构数据交互。
6、编程语言与基础：具备扎实的Java编程功底，熟练掌握复杂SQL编写；熟悉Linux操作系统及Shell脚本编程；持有CET-4证书，具备流畅的英文技术文档阅读与开源社区交流能力。
7、数据可视化：熟练部署superset等开源BI工具，并熟练使用其来制作各种商业分析报表；熟练使用FineBI,QuickBI以及DataEase等商业化BI工具
2、大数据平台生态：具备独立部署与运维CDH大数据集群的能力，熟练管理HDFS、Hive、HBase、Spark、Flink、MapReduce、Sqoop等核心组件；深度使用阿里云DataWorks进行大数据开发与数据治理。
3、离线与实时计算：精通Spark、Hive等主流离线计算框架，具备复杂业务场景下的性能调优经验；熟练掌握Flink、Spark Streaming等流式计算引擎，能够高效完成实时数据链路的开发与优化。
4、OLAP与关系型数据库：熟悉ClickHouse、StarRocks等新一代OLAP数据库的底层架构及适用场景；精通MySQL、PostgreSQL等常规关系型数据库的日常使用、SQL编写及深度性能调优。
5、数据采集与传输：熟练使用Flume进行日志采集及集群部署；深入理解Kafka工作机制，能高效实现Kafka与Spark/Flink的流式对接；精通DataX、Sqoop等数据同步工具，熟练完成关系型与非关系型数据库间的异构数据交互。
6、编程语言与基础：具备扎实的Java编程功底，熟练掌握复杂SQL编写；熟悉Linux操作系统及Shell脚本编程；持有CET-4证书，具备流畅的英文技术文档阅读与开源社区交流能力。
7、数据可视化：熟练部署superset等开源BI工具，并熟练使用其来制作各种商业分析报表；熟练使用FineBI,QuickBI以及DataEase等商业化BI工具
项目经验
项目一：企业级全投资生命周期数据仓库从0到1建设
项目背景：为解决公司内部数据孤岛问题，统一数据出口并规范数据使用标准，主导搭建了一套高可用、易扩展的企业级数据仓库体系。
核心职责与成果：
业务调研与架构设计：深度对接产品团队，梳理全投资生命周期业务链路。基于业务特性设计数据总线矩阵，科学划分出投研、拓展、联营及交易所等核心数据域，为底层架构奠定业务基础。
数仓分层与维度建模：运用维度建模理论主导数仓架构落地，规范构建DWD（明细层）、DIM（维度层）及DWS（汇总层）等公共数据层；在ADS（应用层）聚焦公司级核心指标开发，确保数据口径的一致性。
数据治理与赋能业务：依托扎实的数据治理理念（结合DataWorks等工具），将DIM与DWS层作为公共数据资产向各业务端开放，支持业务人员进行个性化的自助分析，大幅提升了数据流转与使用效率。
项目二：基于Flink+Kafka的实时数据监控与分析平台
项目背景：针对离线数仓T+1产出数据导致业务决策滞后的痛点，主导搭建实时数据链路，实现核心业务指标的秒级/分钟级计算与大屏展示，赋能管理层进行实时业务监控与敏捷决策。
核心职责与成果：
实时数据通道搭建：负责实时数据链路的架构设计与落地，熟练部署FlinkCDC进行对MYSQL，PG，SQLSERVER等数据源进行实时数据同步，并深入利用Kafka作为高吞吐的消息缓冲层，保障高并发场景下数据的稳定传输与削峰填谷。
流式计算与状态管理：使用Flink流式计算引擎进行核心业务逻辑开发，熟练运用Watermark机制与窗口函数处理乱序与延迟数据；结合Flink StateBackend进行状态管理与容错调优，保障7×24小时作业的Exactly-Once语义与高可用性。
OLAP多维分析与加速：将实时计算结果秒级写入ClickHouse/StarRocks等OLAP数据库，利用其列式存储与向量化执行引擎实现海量数据的亚秒级聚合查询，支撑前端BI大屏的丝滑交互体验。
异构数据同步与融合：使用DataX/Sqoop实现历史关系型数据库（MySQL/PG）与实时流数据的融合对接，完善实时数仓的维度关联，大幅提升了实时报表的业务完整性与数据准确性。
项目背景：为解决公司内部数据孤岛问题，统一数据出口并规范数据使用标准，主导搭建了一套高可用、易扩展的企业级数据仓库体系。
核心职责与成果：
业务调研与架构设计：深度对接产品团队，梳理全投资生命周期业务链路。基于业务特性设计数据总线矩阵，科学划分出投研、拓展、联营及交易所等核心数据域，为底层架构奠定业务基础。
数仓分层与维度建模：运用维度建模理论主导数仓架构落地，规范构建DWD（明细层）、DIM（维度层）及DWS（汇总层）等公共数据层；在ADS（应用层）聚焦公司级核心指标开发，确保数据口径的一致性。
数据治理与赋能业务：依托扎实的数据治理理念（结合DataWorks等工具），将DIM与DWS层作为公共数据资产向各业务端开放，支持业务人员进行个性化的自助分析，大幅提升了数据流转与使用效率。
项目二：基于Flink+Kafka的实时数据监控与分析平台
项目背景：针对离线数仓T+1产出数据导致业务决策滞后的痛点，主导搭建实时数据链路，实现核心业务指标的秒级/分钟级计算与大屏展示，赋能管理层进行实时业务监控与敏捷决策。
核心职责与成果：
实时数据通道搭建：负责实时数据链路的架构设计与落地，熟练部署FlinkCDC进行对MYSQL，PG，SQLSERVER等数据源进行实时数据同步，并深入利用Kafka作为高吞吐的消息缓冲层，保障高并发场景下数据的稳定传输与削峰填谷。
流式计算与状态管理：使用Flink流式计算引擎进行核心业务逻辑开发，熟练运用Watermark机制与窗口函数处理乱序与延迟数据；结合Flink StateBackend进行状态管理与容错调优，保障7×24小时作业的Exactly-Once语义与高可用性。
OLAP多维分析与加速：将实时计算结果秒级写入ClickHouse/StarRocks等OLAP数据库，利用其列式存储与向量化执行引擎实现海量数据的亚秒级聚合查询，支撑前端BI大屏的丝滑交互体验。
异构数据同步与融合：使用DataX/Sqoop实现历史关系型数据库（MySQL/PG）与实时流数据的融合对接，完善实时数仓的维度关联，大幅提升了实时报表的业务完整性与数据准确性。
ID:426614
复制
编程阿宝
高级大数据开发工程师 · 8年经验 · 滴灌通科技有限公司
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1、数仓架构与建模：具备企业级数据仓库从0到1的完整搭建经验，精通数据仓库分层架构设计（ODS/DWD/DWS/ADS）及数据集市理论，成功主导并落地多个企业级数仓项目。
2、大数据平台生态：具备独立部署与运维CDH大数据集群的能力，熟练管理HDFS、Hive、HBase、Spark、Flink、MapReduce、Sqoop等核心组件；深度使用阿里云DataWorks进行大数据开发与数据治理。
3、离线与实时计算：精通Spark、Hive等主流离线计算框架，具备复杂业务场景下的性能调优经验；熟练掌握Flink、Spark Streaming等流式计算引擎，能够高效完成实时数据链路的开发与优化。
4、OLAP与关系型数据库：熟悉ClickHouse、StarRocks等新一代OLAP数据库的底层架构及适用场景；精通MySQL、PostgreSQL等常规关系型数据库的日常使用、SQL编写及深度性能调优。
5、数据采集与传输：熟练使用Flume进行日志采集及集群部署；深入理解Kafka工作机制，能高效实现Kafka与Spark/Flink的流式对接；精通DataX、Sqoop等数据同步工具，熟练完成关系型与非关系型数据库间的异构数据交互。
6、编程语言与基础：具备扎实的Java编程功底，熟练掌握复杂SQL编写；熟悉Linux操作系统及Shell脚本编程；持有CET-4证书，具备流畅的英文技术文档阅读与开源社区交流能力。
7、数据可视化：熟练部署superset等开源BI工具，并熟练使用其来制作各种商业分析报表；熟练使用FineBI,QuickBI以及DataEase等商业化BI工具
2、大数据平台生态：具备独立部署与运维CDH大数据集群的能力，熟练管理HDFS、Hive、HBase、Spark、Flink、MapReduce、Sqoop等核心组件；深度使用阿里云DataWorks进行大数据开发与数据治理。
3、离线与实时计算：精通Spark、Hive等主流离线计算框架，具备复杂业务场景下的性能调优经验；熟练掌握Flink、Spark Streaming等流式计算引擎，能够高效完成实时数据链路的开发与优化。
4、OLAP与关系型数据库：熟悉ClickHouse、StarRocks等新一代OLAP数据库的底层架构及适用场景；精通MySQL、PostgreSQL等常规关系型数据库的日常使用、SQL编写及深度性能调优。
5、数据采集与传输：熟练使用Flume进行日志采集及集群部署；深入理解Kafka工作机制，能高效实现Kafka与Spark/Flink的流式对接；精通DataX、Sqoop等数据同步工具，熟练完成关系型与非关系型数据库间的异构数据交互。
6、编程语言与基础：具备扎实的Java编程功底，熟练掌握复杂SQL编写；熟悉Linux操作系统及Shell脚本编程；持有CET-4证书，具备流畅的英文技术文档阅读与开源社区交流能力。
7、数据可视化：熟练部署superset等开源BI工具，并熟练使用其来制作各种商业分析报表；熟练使用FineBI,QuickBI以及DataEase等商业化BI工具
项目经验
项目一：企业级全投资生命周期数据仓库从0到1建设
项目背景：为解决公司内部数据孤岛问题，统一数据出口并规范数据使用标准，主导搭建了一套高可用、易扩展的企业级数据仓库体系。
核心职责与成果：
业务调研与架构设计：深度对接产品团队，梳理全投资生命周期业务链路。基于业务特性设计数据总线矩阵，科学划分出投研、拓展、联营及交易所等核心数据域，为底层架构奠定业务基础。
数仓分层与维度建模：运用维度建模理论主导数仓架构落地，规范构建DWD（明细层）、DIM（维度层）及DWS（汇总层）等公共数据层；在ADS（应用层）聚焦公司级核心指标开发，确保数据口径的一致性。
数据治理与赋能业务：依托扎实的数据治理理念（结合DataWorks等工具），将DIM与DWS层作为公共数据资产向各业务端开放，支持业务人员进行个性化的自助分析，大幅提升了数据流转与使用效率。
项目二：基于Flink+Kafka的实时数据监控与分析平台
项目背景：针对离线数仓T+1产出数据导致业务决策滞后的痛点，主导搭建实时数据链路，实现核心业务指标的秒级/分钟级计算与大屏展示，赋能管理层进行实时业务监控与敏捷决策。
核心职责与成果：
实时数据通道搭建：负责实时数据链路的架构设计与落地，熟练部署FlinkCDC进行对MYSQL，PG，SQLSERVER等数据源进行实时数据同步，并深入利用Kafka作为高吞吐的消息缓冲层，保障高并发场景下数据的稳定传输与削峰填谷。
流式计算与状态管理：使用Flink流式计算引擎进行核心业务逻辑开发，熟练运用Watermark机制与窗口函数处理乱序与延迟数据；结合Flink StateBackend进行状态管理与容错调优，保障7×24小时作业的Exactly-Once语义与高可用性。
OLAP多维分析与加速：将实时计算结果秒级写入ClickHouse/StarRocks等OLAP数据库，利用其列式存储与向量化执行引擎实现海量数据的亚秒级聚合查询，支撑前端BI大屏的丝滑交互体验。
异构数据同步与融合：使用DataX/Sqoop实现历史关系型数据库（MySQL/PG）与实时流数据的融合对接，完善实时数仓的维度关联，大幅提升了实时报表的业务完整性与数据准确性。
项目背景：为解决公司内部数据孤岛问题，统一数据出口并规范数据使用标准，主导搭建了一套高可用、易扩展的企业级数据仓库体系。
核心职责与成果：
业务调研与架构设计：深度对接产品团队，梳理全投资生命周期业务链路。基于业务特性设计数据总线矩阵，科学划分出投研、拓展、联营及交易所等核心数据域，为底层架构奠定业务基础。
数仓分层与维度建模：运用维度建模理论主导数仓架构落地，规范构建DWD（明细层）、DIM（维度层）及DWS（汇总层）等公共数据层；在ADS（应用层）聚焦公司级核心指标开发，确保数据口径的一致性。
数据治理与赋能业务：依托扎实的数据治理理念（结合DataWorks等工具），将DIM与DWS层作为公共数据资产向各业务端开放，支持业务人员进行个性化的自助分析，大幅提升了数据流转与使用效率。
项目二：基于Flink+Kafka的实时数据监控与分析平台
项目背景：针对离线数仓T+1产出数据导致业务决策滞后的痛点，主导搭建实时数据链路，实现核心业务指标的秒级/分钟级计算与大屏展示，赋能管理层进行实时业务监控与敏捷决策。
核心职责与成果：
实时数据通道搭建：负责实时数据链路的架构设计与落地，熟练部署FlinkCDC进行对MYSQL，PG，SQLSERVER等数据源进行实时数据同步，并深入利用Kafka作为高吞吐的消息缓冲层，保障高并发场景下数据的稳定传输与削峰填谷。
流式计算与状态管理：使用Flink流式计算引擎进行核心业务逻辑开发，熟练运用Watermark机制与窗口函数处理乱序与延迟数据；结合Flink StateBackend进行状态管理与容错调优，保障7×24小时作业的Exactly-Once语义与高可用性。
OLAP多维分析与加速：将实时计算结果秒级写入ClickHouse/StarRocks等OLAP数据库，利用其列式存储与向量化执行引擎实现海量数据的亚秒级聚合查询，支撑前端BI大屏的丝滑交互体验。
异构数据同步与融合：使用DataX/Sqoop实现历史关系型数据库（MySQL/PG）与实时流数据的融合对接，完善实时数仓的维度关联，大幅提升了实时报表的业务完整性与数据准确性。
立即沟通
