猿急送>

长沙其它兼职程序员

ID：303997

专供！

大数据开发工程师

公司信息：
三一集团

工作经验：
4年

兼职日薪：
600元/8小时

兼职时间：
周六
周日
可工作日远程

所在区域：
长沙
全区

技术能力

熟练掌握数据仓库相关理论知识。能够根据现有业务构建数仓分层及分析模型设计工作
了解常用的基于查询和基于日志的 CDC 框架采集原理(Flume、Cannal、Flink CDC、Datax)
熟练掌握 HDFS 分布式文件系统存储结构以及工作原理
熟练使用 Java，Scala 开发以及熟悉 Python、shell 编程，熟悉 Hadoop 平台搭建
熟悉基于 Hive 数据仓库的搭建，理解 HQL 语句执行流程，掌握常用调优
熟练使用 HBase，理解 HBase 底层数据存储原理，有解决热点问题、Rowkey 设计开发经验。有结合Phoenix 使用相关经验
熟练掌握 Spark 编程及优化(Core、SQL、Streaming、Graph)
熟练掌握 Flink 编程，解决流式任务在执行过程中的各种疑难问题
了解常用的 OLAP 引擎（ClickHouse、Kudu、Durid、GP、ES、Persto、Kylin、Doris等），能够根据应用场景选择合适的存储分析存储引擎
对数据湖技术有一定的了解，Hudi 较熟悉
熟练使用 Azkaban、DS 工具，实现各个任务直接的调度

项目经验

公安大数据开发
项目描述：
随着数据驱动警务的时代到来，标志着数据管理工作逐步进入数据资产管理阶段。数据资产管理是把数据资源作为一种全新的“资产”形态，通过抽取、存储和加工，使之成为“驱动业务”的高价值资源。
职责描述：
1.结合公安大数据规范文档，参与数据仓库分层建设。目前构建(ODS、DWD、DWB、DWS、DIM、ADS)；
2.参与公司数据治理相关设计工作；
3.参与公司数据标准化建设，对数据仓库数据进行统一加工处理；
4.根据现有业务场景，参与业务模型的设计及主题库的建设工作；
5.构建人员、车辆标签库、关系图谱等；
6.根据现有业务特征进行OLAP 相关技术的选型工作；
7.构建数据链路监控，保障数据加工链路的稳定性；
8.公司云迹、云踪、警务云平台、区县一体化平台、云觅等相关平台数据链路维护。

智慧财务存货管控
项目描述：
集团存货规模接近300亿元，但精细化管理程度较低，同时由于销售、生产、采购计划准确性不高，导致缺货现象时有发生。基于数据中台已集成生产、销售、库存等业务数据，充分利用大数据开展存货精细化分析，推动存货智能、高效管控，实现国内外数据实时呈现，存货在线考核通报，异常存货预警、定位及穿透分析，评估产销存计划执行情况对存货的影响，以及战略储备、呆滞存货精细化管理，推动集团数字化转型。
职责描述：
1.参与前期数据调研、需求分析、需求评审及模型设计工作；
2.参与数仓逻辑分层、分域及标签体系的设计工作；
3.基于DataWorks 数据中台实现数据同步、数仓模型建设、指标模型开发工作；
4.优化数仓模型任务，达到成本与查询效率的平衡；
5.数据校验与数据监控，保障数据完整性、及时性、准确性、一致性。

集团质量仪表盘
项目描述：
目前质量业务分散在QIS及其他系统各业务模块，对于公司整体的质量管控情况缺少总体的概览。智能制造总部联合BPIT计划开发集团质量仪表盘，实时监控各项质量业务的结果及过程管控数据，及时预知风险、快速定位问题，建设集团产品公司质量仪表盘，通过质量结果与各项业务开展的实时监控，预知质量风险，快速定位问题并解决问题。
职责描述：
1.质量管理各个核心业务下的管控指标进行梳理
2.参与前期数据调研、需求分析、需求评审及模型设计工作；
3.参与数仓逻辑分层、分域及标签体系的设计工作；
4.基于DataWorks 数据中台实现数据同步、数仓模型建设、指标模型开发相关工作；
5.数据校验与数据监控，保障数据完整性、及时性、准确性、一致性；
6.数据链路优化与运维，解决试运行到上线过程中一系列 BUG。

道依茨质量专家系统
项目描述：
智能质量专家系统是一个基于数据和算法的软件项目。通过集成公司内所有和质量相关的数据，通过算法固化质量专家的分析模式和经验，做到质量的更高智能化管控和管理。虽然自动化和流程数字化带来了海量的数据，但是这些数据孤立地处于各个系统中，信息的获取效率低，目前的状态几乎无法进行更深层次的分析，大量的质量数据并未形成实时的质量监控和动态分析。通过大屏，看板，报表等形式对关键质量指标进行实时的展现，便于质量管理人员和公司管理人员进行实时的质量情况了解和分析。
职责描述：
1.参与前期数据调研、需求分析、需求评审及模型设计工作；
2.参与公司数据治理相关设计工作，通过治理手段规范前端业务；
3.基于DataWorks 数据中台实现数据同步、数仓模型建设、指标模型开发工作；
4.数据校验与数据监控，保障数据完整性、及时性、准确性、一致性。