null
高级数据开发工程师
上汽大通 · 8年经验
日薪：
￥1200/8h
地点：
北京 丰台
时间：
周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
拥有8年数据开发及数据工程相关经验，熟练使用 Python、SQL、Shell，具备 Java 开发
基础，能够独立完成数据采集、清洗、转换、调度、质量校验及异常处理。熟悉 MySQL、
Oracle、MongoDB 等数据库，能够进行复杂 SQL 编写、存储过程开发、执行计划分析、
索引设计及慢查询优化。熟悉 Hive、MaxCompute 等大数据平台，掌握分区表设计、数据
模型建设、离线任务开发及海量数据处理。具备数据仓库分层、ETL 链路设计、任务依赖
治理和数据质量监控经验，能够针对任务耗时长、资源消耗高、数据倾斜及链路不稳定等
问题进行定位和优化。熟悉企业微信接口及数据拉取流程，具备用户等级评选、指标规则
落地和数据服务建设经验
基础，能够独立完成数据采集、清洗、转换、调度、质量校验及异常处理。熟悉 MySQL、
Oracle、MongoDB 等数据库，能够进行复杂 SQL 编写、存储过程开发、执行计划分析、
索引设计及慢查询优化。熟悉 Hive、MaxCompute 等大数据平台，掌握分区表设计、数据
模型建设、离线任务开发及海量数据处理。具备数据仓库分层、ETL 链路设计、任务依赖
治理和数据质量监控经验，能够针对任务耗时长、资源消耗高、数据倾斜及链路不稳定等
问题进行定位和优化。熟悉企业微信接口及数据拉取流程，具备用户等级评选、指标规则
落地和数据服务建设经验
项目经验
### 项目经验
一、数据链路优化项目
负责现有数据链路的梳理与性能优化，对数据采集、清洗、加工、汇总及结果输出等环节
进行分析，定位任务执行时间长、重复计算、依赖关系复杂和资源利用率偏低等问题。基
于 Hive、MaxCompute、MySQL、Oracle 等数据源，优化 SQL 逻辑、表分区设计、任务依
赖和数据加工流程，减少不必要的全表扫描及重复数据处理。使用 Python、Shell 开发
自动化检查和异常处理脚本，完善任务监控、失败重试、数据量核对及告警机制，提高数
据链路运行效率与稳定性，为下游报表和业务应用提供及时、准确的数据支持。
二、用户等级评选项目
负责用户等级评选的数据开发与规则落地，根据用户活跃度、交易行为、业务贡献和历史
表现等指标构建用户评价体系。参与业务需求分析、指标口径确认、数据模型设计及评选
规则实现，使用 SQL、Hive、MaxCompute 完成多源数据整合、指标计算、等级划分和结
果输出。针对数据量较大、计算逻辑复杂等情况，对中间表、分区策略和计算流程进行优
化。建立结果校验、等级变动分析及异常数据排查机制，保证评选结果的准确性和可追溯
性，并将用户等级数据提供给运营、营销及客户管理等业务场景使用。
三、企业微信数据拉取项目
负责企业微信相关数据的采集、存储和加工，通过企业微信接口拉取成员、客户、部门、
群聊及客户关系等业务数据。使用 Python 完成接口调用、身份认证、分页处理、增量更
新、频率限制、失败重试和日志记录，并将数据落地至 MySQL、MongoDB、Hive或
MaxCompute。根据不同接口的数据特点设计全量与增量同步方案，处理数据重复、字段缺
失、接口异常及历史数据补录等问题。通过 Shell 配合调度平台实现任务自动化运行，
同时建立数据完整性校验和异常告警机制，为客户运营分析、员工服务情况统计及用户画
像建设提供稳定的数据基础。
一、数据链路优化项目
负责现有数据链路的梳理与性能优化，对数据采集、清洗、加工、汇总及结果输出等环节
进行分析，定位任务执行时间长、重复计算、依赖关系复杂和资源利用率偏低等问题。基
于 Hive、MaxCompute、MySQL、Oracle 等数据源，优化 SQL 逻辑、表分区设计、任务依
赖和数据加工流程，减少不必要的全表扫描及重复数据处理。使用 Python、Shell 开发
自动化检查和异常处理脚本，完善任务监控、失败重试、数据量核对及告警机制，提高数
据链路运行效率与稳定性，为下游报表和业务应用提供及时、准确的数据支持。
二、用户等级评选项目
负责用户等级评选的数据开发与规则落地，根据用户活跃度、交易行为、业务贡献和历史
表现等指标构建用户评价体系。参与业务需求分析、指标口径确认、数据模型设计及评选
规则实现，使用 SQL、Hive、MaxCompute 完成多源数据整合、指标计算、等级划分和结
果输出。针对数据量较大、计算逻辑复杂等情况，对中间表、分区策略和计算流程进行优
化。建立结果校验、等级变动分析及异常数据排查机制，保证评选结果的准确性和可追溯
性，并将用户等级数据提供给运营、营销及客户管理等业务场景使用。
三、企业微信数据拉取项目
负责企业微信相关数据的采集、存储和加工，通过企业微信接口拉取成员、客户、部门、
群聊及客户关系等业务数据。使用 Python 完成接口调用、身份认证、分页处理、增量更
新、频率限制、失败重试和日志记录，并将数据落地至 MySQL、MongoDB、Hive或
MaxCompute。根据不同接口的数据特点设计全量与增量同步方案，处理数据重复、字段缺
失、接口异常及历史数据补录等问题。通过 Shell 配合调度平台实现任务自动化运行，
同时建立数据完整性校验和异常告警机制，为客户运营分析、员工服务情况统计及用户画
像建设提供稳定的数据基础。
null
高级数据开发工程师 · 8年经验 · 上汽大通
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
拥有8年数据开发及数据工程相关经验，熟练使用 Python、SQL、Shell，具备 Java 开发
基础，能够独立完成数据采集、清洗、转换、调度、质量校验及异常处理。熟悉 MySQL、
Oracle、MongoDB 等数据库，能够进行复杂 SQL 编写、存储过程开发、执行计划分析、
索引设计及慢查询优化。熟悉 Hive、MaxCompute 等大数据平台，掌握分区表设计、数据
模型建设、离线任务开发及海量数据处理。具备数据仓库分层、ETL 链路设计、任务依赖
治理和数据质量监控经验，能够针对任务耗时长、资源消耗高、数据倾斜及链路不稳定等
问题进行定位和优化。熟悉企业微信接口及数据拉取流程，具备用户等级评选、指标规则
落地和数据服务建设经验
基础，能够独立完成数据采集、清洗、转换、调度、质量校验及异常处理。熟悉 MySQL、
Oracle、MongoDB 等数据库，能够进行复杂 SQL 编写、存储过程开发、执行计划分析、
索引设计及慢查询优化。熟悉 Hive、MaxCompute 等大数据平台，掌握分区表设计、数据
模型建设、离线任务开发及海量数据处理。具备数据仓库分层、ETL 链路设计、任务依赖
治理和数据质量监控经验，能够针对任务耗时长、资源消耗高、数据倾斜及链路不稳定等
问题进行定位和优化。熟悉企业微信接口及数据拉取流程，具备用户等级评选、指标规则
落地和数据服务建设经验
项目经验
### 项目经验
一、数据链路优化项目
负责现有数据链路的梳理与性能优化，对数据采集、清洗、加工、汇总及结果输出等环节
进行分析，定位任务执行时间长、重复计算、依赖关系复杂和资源利用率偏低等问题。基
于 Hive、MaxCompute、MySQL、Oracle 等数据源，优化 SQL 逻辑、表分区设计、任务依
赖和数据加工流程，减少不必要的全表扫描及重复数据处理。使用 Python、Shell 开发
自动化检查和异常处理脚本，完善任务监控、失败重试、数据量核对及告警机制，提高数
据链路运行效率与稳定性，为下游报表和业务应用提供及时、准确的数据支持。
二、用户等级评选项目
负责用户等级评选的数据开发与规则落地，根据用户活跃度、交易行为、业务贡献和历史
表现等指标构建用户评价体系。参与业务需求分析、指标口径确认、数据模型设计及评选
规则实现，使用 SQL、Hive、MaxCompute 完成多源数据整合、指标计算、等级划分和结
果输出。针对数据量较大、计算逻辑复杂等情况，对中间表、分区策略和计算流程进行优
化。建立结果校验、等级变动分析及异常数据排查机制，保证评选结果的准确性和可追溯
性，并将用户等级数据提供给运营、营销及客户管理等业务场景使用。
三、企业微信数据拉取项目
负责企业微信相关数据的采集、存储和加工，通过企业微信接口拉取成员、客户、部门、
群聊及客户关系等业务数据。使用 Python 完成接口调用、身份认证、分页处理、增量更
新、频率限制、失败重试和日志记录，并将数据落地至 MySQL、MongoDB、Hive或
MaxCompute。根据不同接口的数据特点设计全量与增量同步方案，处理数据重复、字段缺
失、接口异常及历史数据补录等问题。通过 Shell 配合调度平台实现任务自动化运行，
同时建立数据完整性校验和异常告警机制，为客户运营分析、员工服务情况统计及用户画
像建设提供稳定的数据基础。
一、数据链路优化项目
负责现有数据链路的梳理与性能优化，对数据采集、清洗、加工、汇总及结果输出等环节
进行分析，定位任务执行时间长、重复计算、依赖关系复杂和资源利用率偏低等问题。基
于 Hive、MaxCompute、MySQL、Oracle 等数据源，优化 SQL 逻辑、表分区设计、任务依
赖和数据加工流程，减少不必要的全表扫描及重复数据处理。使用 Python、Shell 开发
自动化检查和异常处理脚本，完善任务监控、失败重试、数据量核对及告警机制，提高数
据链路运行效率与稳定性，为下游报表和业务应用提供及时、准确的数据支持。
二、用户等级评选项目
负责用户等级评选的数据开发与规则落地，根据用户活跃度、交易行为、业务贡献和历史
表现等指标构建用户评价体系。参与业务需求分析、指标口径确认、数据模型设计及评选
规则实现，使用 SQL、Hive、MaxCompute 完成多源数据整合、指标计算、等级划分和结
果输出。针对数据量较大、计算逻辑复杂等情况，对中间表、分区策略和计算流程进行优
化。建立结果校验、等级变动分析及异常数据排查机制，保证评选结果的准确性和可追溯
性，并将用户等级数据提供给运营、营销及客户管理等业务场景使用。
三、企业微信数据拉取项目
负责企业微信相关数据的采集、存储和加工，通过企业微信接口拉取成员、客户、部门、
群聊及客户关系等业务数据。使用 Python 完成接口调用、身份认证、分页处理、增量更
新、频率限制、失败重试和日志记录，并将数据落地至 MySQL、MongoDB、Hive或
MaxCompute。根据不同接口的数据特点设计全量与增量同步方案，处理数据重复、字段缺
失、接口异常及历史数据补录等问题。通过 Shell 配合调度平台实现任务自动化运行，
同时建立数据完整性校验和异常告警机制，为客户运营分析、员工服务情况统计及用户画
像建设提供稳定的数据基础。
立即沟通
