墨函

大数据开发工程师
北京知金大鹏教育科技有限公司 · 5年经验
墨函
日薪: ¥600/8h
地点: 北京
时间: 下班后周六周日可工作日远程
ID:430454 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Java Python Hive Spring Spring Boot MyBatis Spark MySQL Flink Oracle ClickHouse K8s HBase Docker Git
大数据开发工程师,4年工作经验,专注于数据仓库建设与实时数据平台开发。

开发语言: 熟练使用 Java、Python、Shell 进行数据工程开发,具备扎实的 SQL 功底。

大数据技术栈:

实时计算:熟练掌握 Flink 实时程序开发,有 Flink + Doris 实时数仓搭建经验,实时数据统计延迟控制在 100ms 以内
离线计算:熟练使用 Spark(SparkCore、SparkSQL、SparkStreaming),有 Spark 调优及数据倾斜处理的实际经验
数据仓库:熟练使用 Hive 进行数仓开发,精通 ETL 数据清洗、HQL 调优,有完整的数仓分层建设经验(ODS → DWD → DWS → APP)
数据存储:熟练使用 MySQL、Oracle、Doris、ClickHouse、HBase,有 Doris 集群搭建与参数调优经验,有 ClickHouse 集群选型、搭建、压测经验
消息队列:熟悉 Kafka 分布式消息系统
任务调度:熟练使用 Azkaban、EasyScheduler 进行任务调度与监控
Hadoop 生态:熟悉 HDFS、YARN、MapReduce 架构及工作原理
后端开发: 熟练使用 Spring Boot、Spring MVC、MyBatis 等 JavaEE 框架,有全栈开发及 K8s 集群维护经验。

运维部署: 有 Docker 镜像构建与 K8s 容器化部署经验,熟练使用 Git、SVN 版本控制工具

项目一:Flink + Doris 实时数仓建设 项目背景:为满足业务实时数据分析需求,搭建基于 Flink + Doris 的实时数仓平台。 职责:负责 Doris 集群技术选型、搭建及参数调优(4节点,16核64G),基于 Flink 开发实时数据处理链路,最终实现实时数据统计延迟 100ms 以内。同时搭建 ClickHouse OLAP 集群(3节点)支撑用户画像和报表查询,并建设基于 Azkaban 的任务调度和监控平台。

项目二:企业级数据仓库平台建设 项目背景:针对企业数据杂乱、不规范的问题,从零搭建完整的数据仓库体系。 职责:梳理多源数据(自有数据 + 中台数据),进行数据分域划分(按业务主题建设),设计数仓分层结构(ODS/DWD/DWS/APP),完成数据同步、ETL 清洗、维度表建设、宽表整合及下游应用对接。涉及 Hive 数据仓库建设、HBase 接口对接、外部数据(MySQL、COS)同步等完整链路。

项目三:实时大数据平台全栈开发 项目背景:公司测试平台的前后端业务需求开发与版本发布。 职责:负责需求评估、接口设计与数据库表设计、接口代码审计与调优、K8s 集群维护、需求上线发布。
墨函 ID:430454 复制

墨函

大数据开发工程师 · 5年经验 · 北京知金大鹏教育科技有限公司
城市北京 日薪600元/8h 时间 下班后周六周日可工作日远程
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Java Python Hive Spring Spring Boot MyBatis Spark MySQL Flink Oracle ClickHouse K8s HBase Docker Git
大数据开发工程师,4年工作经验,专注于数据仓库建设与实时数据平台开发。

开发语言: 熟练使用 Java、Python、Shell 进行数据工程开发,具备扎实的 SQL 功底。

大数据技术栈:

实时计算:熟练掌握 Flink 实时程序开发,有 Flink + Doris 实时数仓搭建经验,实时数据统计延迟控制在 100ms 以内
离线计算:熟练使用 Spark(SparkCore、SparkSQL、SparkStreaming),有 Spark 调优及数据倾斜处理的实际经验
数据仓库:熟练使用 Hive 进行数仓开发,精通 ETL 数据清洗、HQL 调优,有完整的数仓分层建设经验(ODS → DWD → DWS → APP)
数据存储:熟练使用 MySQL、Oracle、Doris、ClickHouse、HBase,有 Doris 集群搭建与参数调优经验,有 ClickHouse 集群选型、搭建、压测经验
消息队列:熟悉 Kafka 分布式消息系统
任务调度:熟练使用 Azkaban、EasyScheduler 进行任务调度与监控
Hadoop 生态:熟悉 HDFS、YARN、MapReduce 架构及工作原理
后端开发: 熟练使用 Spring Boot、Spring MVC、MyBatis 等 JavaEE 框架,有全栈开发及 K8s 集群维护经验。

运维部署: 有 Docker 镜像构建与 K8s 容器化部署经验,熟练使用 Git、SVN 版本控制工具

项目经验

项目一:Flink + Doris 实时数仓建设 项目背景:为满足业务实时数据分析需求,搭建基于 Flink + Doris 的实时数仓平台。 职责:负责 Doris 集群技术选型、搭建及参数调优(4节点,16核64G),基于 Flink 开发实时数据处理链路,最终实现实时数据统计延迟 100ms 以内。同时搭建 ClickHouse OLAP 集群(3节点)支撑用户画像和报表查询,并建设基于 Azkaban 的任务调度和监控平台。

项目二:企业级数据仓库平台建设 项目背景:针对企业数据杂乱、不规范的问题,从零搭建完整的数据仓库体系。 职责:梳理多源数据(自有数据 + 中台数据),进行数据分域划分(按业务主题建设),设计数仓分层结构(ODS/DWD/DWS/APP),完成数据同步、ETL 清洗、维度表建设、宽表整合及下游应用对接。涉及 Hive 数据仓库建设、HBase 接口对接、外部数据(MySQL、COS)同步等完整链路。

项目三:实时大数据平台全栈开发 项目背景:公司测试平台的前后端业务需求开发与版本发布。 职责:负责需求评估、接口设计与数据库表设计、接口代码审计与调优、K8s 集群维护、需求上线发布。
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • 支付宝企业信用分 优秀 评级
  • 市场份额约占全行业三分之一
  • 程序员兼职行业全能首选平台
查看平台资质详情
收藏