猿急送>

上海Java兼职程序员

ID：396167

尹跃进

高级大数据专家

公司信息：
平安国际融资租赁有限公司

工作经验：
15年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
上海
浦东

技术能力

1. 大数据项目经验：专注于数据平台建设、数据仓库建设、数据建模、数据分析和数据可视化等项
目。熟练掌握 Flink、Spark、SparkStreaming、Kafka、Zookeeper、Hadoop、Hive、Impala、Hudi、Delta、
Kudu、HBase、Kylin、ElasticSearch、Sqoop、DataX、Kettle、ClickHouse、GreenPlum、TiDB、Scrapy、
Tableau、DolphinScheduler、Oozie、DataBricks 等相关技术。
2. 平台搭建与运维：具备从零到一搭建 Hadoop 大数据平台及运维的经验。
3. 系统架构及开发：具备系统架构能力，能胜任 Java 相关项目的架构及开发。熟练掌握 Hibernate、
Mybatis、JPA、Spring Boot、VUE 等技术。
4. 数据库技术：拥有数据库应用中级职称，掌握丰富的分布式 MPP 数据库知识，熟悉 DBOne、TiDB、
GreenPlum 等多款 MPP 数据库。精通 MySQL、Oracle 等主流数据库及 SQL 优化，具有处理海量数据项
目的丰富经验。
5. 项目实施及交付：具有多年项目实施交付经验，涵盖多家军工企业及政府项目。参与多个国产分
布式数据库的部署、测试及应用迁移项目。擅长沟通并捕捉客户需求痛点，能够胜任 2B 企业服务。
对分布式产品部署、系统高可用及高负载交付有丰富经验，获得多个客户的高度认可。熟练掌握 Linux 系统的安装部署及调优，以及高并发、负载均衡集群软件的部署。
6. 项目管理及协调能力：拥有 PMP 证书，在机构、金融企业、大型集团公司等项目管理及定制化
实施交付方面具有丰富的经验和二次开发能力。善于主动分析和解决问题，具备细致的思考能力及较
强的跨部门、跨公司协调能力

项目经验

设备手环数据服务展示系统
通过探索小微设备手环物联网+金融相结合的业务模式，积极打造小微金融+科技壁垒，确保小微
租赁市场领先地位。通过设备手环实时采集物联网 IOT 设备运行数据，实时数据发送到 kafka ,通过
实时计算，将结果保存到 ES 和 HBASE 中。实时计算出设备的开工率、设备状态、设备位移预警、拆
卸预警等。通过设备千机千面阈值和设备当前电流值判断当前的开机状态，统计计算周期内的开工总
时长和在线总时长，计算设备开通率。生成企业行业分析报表，企业所属行业及区域报表等。
技术实现：
1.通过设备手环实时采集物联网 IOT 设备电流数据发送到 kafka ,通过 SparkStreaming/Flink 进行实
时计算，将结果保存到 ES 和 HBASE 中，供后续数据挖掘及统计分析；
2.通过 Flink CDC 实现小微企业基本信息实时同步到 TiDB ,提供实时数据分析查询；
3.通过 HiveSQL、Spark Sql 及 SparkJob 实现数据 ETL 工作；
4 使用 Dolphinscheduler调度 ETL 及 SparkJob。

数据服务 API 项目
通过汇总网络公开数据，提供一站式查询企业综合、人员信息以及法律法规政策，快速识别企业
风险情况、人员投资关系及最新法律法规。
职责业绩：
负责数据服务 API 项目建设；负责 API 团队及数据中台团队的管理及任务安排；
日均为 60 家机构提供高性能文档查询服务；为公司每月节省近 10 万元第三方查询数据费用（优化
API 接口，调用本地数据源）；
技术实现：
1.使用 Dubbo 分布式服务框架搭建项目，并编写代码；
2.使用 Greenplum 分布式数据库存储工商、司法、税务、行政、招投标等数据；使用 HBASE 存储企业
画像数据；使用 ElasticSearch 存储舆情详细数据；
3.根据业务场景，数据查询方式，通过 SQL 优化、代码逻辑等优化，将原先查询严重慢的复杂接口优
化到 1S 内，普通接口查询优化到 500ms 内，极大的缩短接口响应时间；
4.采用主备模式部署 GreenPlum，提升数仓 3.0 的性能及高可用性。采用分区存储舆情数据，保证舆
情数据按日期集中保存在一个分区表内，按日期统计舆情信息是，大大减少全表扫描，减少数据网络
交互、减少磁盘 I/O，充分发挥 GreenPlum 数据库特性；SQL 查询方面由原先的超 30S 提升到 1S 内。
整合多数据源数据到 GP 集群，解决数据分散问题，提升数据检索性能。
5.通过 Spark Sql 及 SparkJob 实现 ETL 工作；
6.通过 Flink CDC 实现工商企业变更信息实时采集，实时推送变更信息给订阅客户；
7.通过生成 1200 亿条加密数据保存到 Hbase，提供 sha256 加密数据联机查询服务;
8.使用 Dolphinscheduler 调度 ETL 及 SparkJob。
9.定期组织 Code Review，分享开发经验，优化项目整体技术架构。