一十一
大数据开发高级工程师 · 8年经验 · 上海医药股份有限公司
0
累计接单
0
用户评价
0
被收藏
技术能力
基础能力
Linux、Shell 脚本、Git；熟练 MySQL、Oracle，复杂 SQL 编写、执行计划调优；python，可阅读、修改源码。
批处理大数据栈
HDFS、Hive（分区 / 分桶、ACID、MAPJOIN、数据倾斜调优）、Spark‑SQL/Spark Core；
Sqoop、DataX 数据同步；
DolphinScheduler / Azkaban 任务调度；
国产平台：TDH、ArgoDB；HBase。
实时（可选支持）
Kafka、Flink Table‑SQL，简单实时任务开发。
数据中台相关
数仓分层建模、Atlas 元数据血缘、Ranger 权限、数据质量规则、指标口径梳理。
主要擅长方向
大数据 ETL 开发：数据接入、清洗转换、ODS‑DWD‑DWS‑ADS 数仓分层建设；拉链表、缓慢变化维实现。
数据迁移 & 同步：异构数据源双向同步，历史全量迁移、增量同步，Sqoop/DataX 问题排查优化。
性能调优：Hive/Spark/ArgoDB 慢任务优化、shuffle 调优、解决数据倾斜、任务跑批超时、资源不合理。
故障排查：批任务报错、数据异常、数据不一致、同步丢数、小文件泛滥等线上问题定位修复。
数据中台配套：元数据梳理、数据质量规则落地、指标口径整理、简单架构方案输出。
远程月度技术顾问：不驻场，按月提供技术支持、评审脚本、架构评审、问题答疑。
Linux、Shell 脚本、Git；熟练 MySQL、Oracle，复杂 SQL 编写、执行计划调优；python，可阅读、修改源码。
批处理大数据栈
HDFS、Hive（分区 / 分桶、ACID、MAPJOIN、数据倾斜调优）、Spark‑SQL/Spark Core；
Sqoop、DataX 数据同步；
DolphinScheduler / Azkaban 任务调度；
国产平台：TDH、ArgoDB；HBase。
实时（可选支持）
Kafka、Flink Table‑SQL，简单实时任务开发。
数据中台相关
数仓分层建模、Atlas 元数据血缘、Ranger 权限、数据质量规则、指标口径梳理。
主要擅长方向
大数据 ETL 开发：数据接入、清洗转换、ODS‑DWD‑DWS‑ADS 数仓分层建设；拉链表、缓慢变化维实现。
数据迁移 & 同步：异构数据源双向同步，历史全量迁移、增量同步，Sqoop/DataX 问题排查优化。
性能调优：Hive/Spark/ArgoDB 慢任务优化、shuffle 调优、解决数据倾斜、任务跑批超时、资源不合理。
故障排查：批任务报错、数据异常、数据不一致、同步丢数、小文件泛滥等线上问题定位修复。
数据中台配套：元数据梳理、数据质量规则落地、指标口径整理、简单架构方案输出。
远程月度技术顾问：不驻场，按月提供技术支持、评审脚本、架构评审、问题答疑。
项目经验
1.业务系统数据对接大数据平台：大数据平台对接（入湖）表情况（总计：3872张表）
2.大数据平台数据推送业务：大数据平台对外推送表情况 （总计：150张）
3.Stream流任务开发：总计172张流表
4.负责大数据平台相关主题开发以及运维(共涉及22项)
(1)大数据平台优先级高的表数据核对：针对平台中重要的业务涉及到ods层的表进行每日数据量核对、防止数据缺失、导致业务数据更新延迟等情况
(2)大数据平台订单表和订单明细表核对:（每日四点统计销售表每家公司的最新更新时间、数据量和金额等。发报告推送超过一小时没有数据更新的公司）
(3)大数据平台的维度表和销售表唯一性校验:（确保维度表和销售表的唯一性）
(4)大屏数据校验，每日巡检（确保大屏数据正常）
(5)大数据平台质量任务监控
(6)对外推送系统：大数据平台对外推送的任务涉及到的相关业务
(7)大数据平台数据来源运维
(8)零售数据监控（统计零售每家公司的开单/采购/库存时间是否正常,统计那家销售门店没有配置单体信息）
5.负责零售业务开发：销售采购、库存和调入调拨等业务的etl开发、ods层核对、pdata层开发、前台报表核对
(1)销售采购、库存和调入调拨：统计每家门店的销售数据、主要指标是销售数量、无税/含税金额、采购数量和库存数量、月末库存余额等
6.负责器械驾驶舱的etl开发、数据核对、dm_qx层对外服务开发、运维、后续数据核对校验，数据治理
7.负责税务管理平台的etl开发、ods层数据核对、pdata层开发、前台报表核对
(1)税务平台：掌握上药控股和下属公司的税务信息，提高税务数据的及时性，准确性,唯一性
(2)税金：确认下属公司名称、税号、主管税务机关、税种、税金等
(3)税负：确认下属公司按期间、分税种，形成税负分析等
8.负责异构（北京科园/辽宁外贸）etl开发、ods层核对、包括应用层数据清洗
(1)基础数据：客户/产品/供应商/库存拥有者（公司代码）/销售组织/仓库/批号/批次/商品与采购员对应关系/客户与销售代表对应关系
(2)交易数据：销售/采购/采购进仓/预付款/回笼/应收余额表/保证金/商品账/每日库存/费用
9.负责经营分析的非贸、销售等业务的开发、核对
10.负责对接新零售的销售、采购、库存、应收、维度表的etl开发、ods层核对、pdata层开发、前台报表核对
11.负责新零售对接流向库的的etl开发、o核对。主要业务是销售、采购、库存、应收、维度表
12.器械宝的etl开发、数据核对、数据对外服务开发、运维等
2.大数据平台数据推送业务：大数据平台对外推送表情况 （总计：150张）
3.Stream流任务开发：总计172张流表
4.负责大数据平台相关主题开发以及运维(共涉及22项)
(1)大数据平台优先级高的表数据核对：针对平台中重要的业务涉及到ods层的表进行每日数据量核对、防止数据缺失、导致业务数据更新延迟等情况
(2)大数据平台订单表和订单明细表核对:（每日四点统计销售表每家公司的最新更新时间、数据量和金额等。发报告推送超过一小时没有数据更新的公司）
(3)大数据平台的维度表和销售表唯一性校验:（确保维度表和销售表的唯一性）
(4)大屏数据校验，每日巡检（确保大屏数据正常）
(5)大数据平台质量任务监控
(6)对外推送系统：大数据平台对外推送的任务涉及到的相关业务
(7)大数据平台数据来源运维
(8)零售数据监控（统计零售每家公司的开单/采购/库存时间是否正常,统计那家销售门店没有配置单体信息）
5.负责零售业务开发：销售采购、库存和调入调拨等业务的etl开发、ods层核对、pdata层开发、前台报表核对
(1)销售采购、库存和调入调拨：统计每家门店的销售数据、主要指标是销售数量、无税/含税金额、采购数量和库存数量、月末库存余额等
6.负责器械驾驶舱的etl开发、数据核对、dm_qx层对外服务开发、运维、后续数据核对校验，数据治理
7.负责税务管理平台的etl开发、ods层数据核对、pdata层开发、前台报表核对
(1)税务平台：掌握上药控股和下属公司的税务信息，提高税务数据的及时性，准确性,唯一性
(2)税金：确认下属公司名称、税号、主管税务机关、税种、税金等
(3)税负：确认下属公司按期间、分税种，形成税负分析等
8.负责异构（北京科园/辽宁外贸）etl开发、ods层核对、包括应用层数据清洗
(1)基础数据：客户/产品/供应商/库存拥有者（公司代码）/销售组织/仓库/批号/批次/商品与采购员对应关系/客户与销售代表对应关系
(2)交易数据：销售/采购/采购进仓/预付款/回笼/应收余额表/保证金/商品账/每日库存/费用
9.负责经营分析的非贸、销售等业务的开发、核对
10.负责对接新零售的销售、采购、库存、应收、维度表的etl开发、ods层核对、pdata层开发、前台报表核对
11.负责新零售对接流向库的的etl开发、o核对。主要业务是销售、采购、库存、应收、维度表
12.器械宝的etl开发、数据核对、数据对外服务开发、运维等
立即沟通
