猿急送>

北京运维兼职程序员

ID：417308

swag

ETL工程师

公司信息：
品高软件

工作经验：
6年

兼职日薪：
600元/8小时

兼职时间：
下班后
周六
周日
可工作日远程
可工作日驻场（离职原因）

所在区域：
北京
海淀

技术能力

大数据平台
HDFS、Hive、Spark、Flink、Kafka、HBase、Zookeeper、Impala、CDH规划、部署、使用、集群迁
移等；
数据库存储
MySQL、PostgreSQL、ClickHouse、Greenplum、Redis、MongoDB、ES等部署、使用、数据迁移；
数据工程
SQL开发、ETL流程设计、存储过程开发
数仓建模（ODS/DWD/DWS/ADS）、主题库模型设计
数据清洗与调度任务设计
运维与平台
Linux（CentOS/Ubuntu/Kylin）的x86和ARM架构和命令
Docker（熟悉），K8s（了解）
集群部署、监控、调优
编程
熟悉Shell编写（自动化脚本）
了解Java、Python
其他
熟悉使用postman、svn、jmeter、办公软件等工具辅助工作的开展

项目经验

项目一：贵阳GA主题库建设（2021年11月～2022年7月）
职责：数据建模 + ETL开发 + 性能优化
设计人/车/案主题数仓模型，构建统一数据体系（ODS-DWD层）；
基于SparkSQL完成数据清洗与加工，构建宽表；
构建Oracle → Spark → ClickHouse数据清洗调度链路；
Clickhouse分布式数据库部署和调优；
Spark组件部署、测试、问题定位、调优；
成果：
支撑亿级数据查询，满足BI分析需求，成功展示人/车/案主题模型的知识图谱；
提升查询性能，保障高并发访问；
解决Spark任务个别数据倾斜问题，优化shuffle分区、优化SQL执行计划、优化资源参数等；

项目二：智能湖仓系统研发技术服务（ 2023年1月～2024年2月）
职责：平台搭建 + 数据接入 + 架构设计
数据调研、数据梳理、性能测试、硬件规划、产品和组件部署、数据接入、数据对接工作流程；
完成Hadoop（包括zookeeper、hdfs、yarn、hbase、hive、spark）、mysql、postgres、neo4j、Kafka、ES等组件集群部署和运维；
设计多种数据接入方案（CDC/消息/批处理）；
参与投标阶段性能测试与生产环境的资源规划；
成果：
完成从POC到上线全流程交付；
通过观察、定位、调优，构建可扩展、高可用数据平台，业务数据稳定可持续地运行；
建设稳定可靠性高的数据中台；

项目三：广州市交通局融合管理平台数据指标（ 2024年8月～ 2025年1月）
职责：数仓建模 + 指标体系建设 + 数据治理
数据调研和设计11个业务域指标体系（公交/地铁/运输等）；
构建ODS-DWD-DWS三层数仓体系；
业务数据接入、SQL存储过程编写、设计数据ETL作业流程定时调度；
统一数据口径，解决多源数据不一致问题；
前后端包部署更新，验证数据正常可视化展示；
未及时更新的数据排查，例如从业务系统源头有没有数据、数据同步作业是否正常、数据加工作业是否正常、spark任务是否正常等；
成果：
建立统一指标体系，提高数据一致性
实现多源数据整合与标准化输出
数据链路稳定，自动化标识未及时更新数据，提供可视化的报表；

项目四：南京某科研单位存算平台与数据管理平台建设（2025年5月～ 2025年11月）
职责：数仓建模 + 指标体系建设 + 数据治理
在Ubuntu 系统Arm架构下完成部署大数据管理平台和Docker；
负责存算平台整体交付，完成多种数据存储与计算组件选型与部署（HDFS、S3、ClickHouse、ES、Redis、达梦等）；
基于FlinkSQL实现数据清洗加工落库到Dameng，；
在缺乏真实业务数据情况下，基于业务场景构建模拟数据与演示方案，支撑系统功能验证与交付；
负责多厂商（6家）平台使用培训与数据接入链路技术支持，输出数据接入与使用规范
成果：
完成多类型数据存储与计算平台交付，支撑多源异构数据统一管理；
构建数据处理链路（采集→清洗→计算→落库），满足业务数据处理需求；
支撑多厂商系统接入，实现数据共享与接口调用能力；
其他项目：
洛阳某多语种基础训练系统装备采购项目、重庆国际博览中心 2021 击剑赛事服务系统、玉溪昆明招商引资系统开发、广西大数据要素融合应用项目；
职责：
现场实施、数据ETL流程设计、数据迁移、业务数据处理等指导、实施工作；
大数据组件部署、使用异常问题定位、调优，自动化脚本监控组件状态和启停；
售前阶段产品演示讲解，实施阶段根据🧍‍♂️标的内容规划架构、部署、调试，售后阶段解决客户使用问题；

案例展示

南京某科研单位存算平台与数据管理平台建设

职责：数仓建模 + 指标体系建设 + 数据治理 在Ubuntu 系统Arm架构下完成部署大数据管理平台和Docker； 负责存算平台整体交付，完成多种数据存储与计算组件选型与部署（HDFS、S3、ClickHouse、ES、Redis、达梦等）； 基于FlinkSQL
广州市交通局融合管理平台数据指标

职责：数仓建模 + 指标体系建设 + 数据治理 数据调研和设计11个业务域指标体系（公交/地铁/运输等）； 构建ODS-DWD-DWS三层数仓体系； 业务数据接入、SQL存储过程编写、设计数据ETL作业流程定时调度； 统一数据口径，解决多源数据不一致问题； 前