猿急送>

厦门Java兼职程序员

ID：409021

天yuan

大数据开发

公司信息：
厦门民航凯亚有限公司

工作经验：
3年

兼职日薪：
500元/8小时

兼职时间：
周六
周日
可工作日远程

所在区域：
厦门
全区

技术能力

2018.03~2018.04：
JavaSE：基础、容器、流（IO流等等）、线程、反射、TCP\UDP网络通信、JVM原理、基本设计模式、JDBC（MySql数据库）、
基本算法与数据结构讲解、NIO编程、并发编程。
JavaEE：SSM框架项目实战、Maven、SVN管理工具使用。
2018.05~2018.07：
Linux：Shell命令、大数据平台搭建环境配置、Shell编程。
Hadoop：HDFS（原理、JavaAPI使用、灾备策略以及灾备恢复）、Yarn（原理、资源调度策略）、MapReduce（原理、并行编
程）。
Hive：Hql DDL DML 操作、Hive数据类型使用以及自定义UDF、UDAF、UDTF、Hive执行过程分析以及调优。
Zookeeper：环境搭建、分布式一致性协调原理、JavaAPI编程、高可用配置（hdfs HA以及机架感知、yarn、hbase）。
HBase：HBaseShell、HBase分布式存储原理以及。调优策略、HBase与HDFS、Mysql、Hive整合、HBase JavaAPI编程、HBase
表设计以及协处理器。
Sqoop数据迁移、Flume数据采集、Kafka消息缓冲、Azkaban工作流调度器。
Redis：JavaAPI以及Shell、底层原理、高可用以及持久化策略。
Python：脚本编写、爬虫编程。
Scala：基本语法编程、HadoopRPC通信原理以及协议实现、Actor并发模型编程。
Spark：SparkCore、SparkSql、SparkStreaming、Spark内存模型以及原理、分布式性能调优策略美团案例讲解。
Storm：原理以及基本Scala程序编写。
2018.08~2018.09：
企业级离线、实时项目讲解以及整合实战。

CDH 良好 netty 一般
akka 熟练 kettle 熟练
数据建模一般 SQL Server 良好
hadoop/cdh 良好 Hive 良好
Java 熟练 Python 一般
Linux 一般 scala 熟练
MySQL 一般数据分析良好
flink 一般 spark 熟练
机器学习一般

项目经验

办公智能助手系统 2023/11-2024/6
所属公司：厦门民航凯亚有限公司
项目描述：项目描述：
基于DB-GPTv5.0项目基础，集成了outlines格式化输出以及fast chat + vllm 分布式推理，添加语音及意图识别等功能，最后结合O
A系统完成智能请假场景的课题。
工作内容：
1).基于DBGPTv5.0的框架代码前后端二次开发。
2).基础fastchat-vllm环境的搭建测试。
3).大模型相关的技术、硬件选型以及开发资料调研。
安检业务数据中台系统 2022/1-2023/10
所属公司：厦门民航凯亚有限公司
项目描述：项目描述：
为安检数据提供一个元数据管理、数据资产管理、数据质量监控、数据血缘分析、数据集成、数据开发、数据生命周期管理、任务调
度的自研基础数据管理开发平台。
工作内容：
1).参与各种功能模块的微服务开发、调试。
2).DATAX自定义插件（kafkarw、rockmqrw、oracle-flink-cdc-r）开发。
3).CDH集群中组件（hive、hue、hbase、hdfs）的和项目的对接和维护。
4).负责一部分安检开发团队的项目功能对接。
5).编写软著申请等文档材料。
智慧九江GIS云平台 2020/10-2021/3
所属公司：武汉珞珈德毅科技股份有限公司
项目描述：项目描述：
运用封装之后的geoserver提供图层发布以及相关的地理信息功能服务。
技术栈：
CDH基础平台(hadoop套件、livy、hbase存储、es + kafka缓存)、geomesa 相关技术、Akka + Netty 通信数据传输框架、Spark
常驻式Web服务 + Spark Sql 查询服务
工作内容：
1.负责对接deuserver的大数据平台基础组件选型以及程序交互设计
2.负责cdh平台搭建以及相关的调试运维工作
3.负责对接deuserver初期的框架代码设计和编写
Foxconn2.0 2019/12-2020/7
所属公司：云智汇（武汉）高新科技服务有限公司
项目描述：项目描述：
基于hadoop平台、hbase存储、kettle+restApi、RDB、ftp数据源接入、spark计算的多系统串接生产的Foxconn工业2.0报表。
工作内容：
1.基于hbase的spark开发，初期建模以及demo编写测试
2.sprint1-2-3-4: 主要完成upph，hr 人力工时，oee、uph、线利用率、Fpy良率的等kpi基于hbase存储的spark分层数据流程序报
表开发。
花果山数字化管理平台 2019/5-2019/12
所属公司：云智汇（武汉）高新科技服务有限公司
项目描述：项目描述：
基于RDB以及kettle-etl的工业互联网综合性生产运营报表监控平台。
工作内容：
1.负责基于kettle、RDB、Spark的无仓化，良率工单，日结损益，datalack数据logspark统计业务指标的开发。
2.关系型数据库建模、调优以及系统对接业务沟通。
3.负责一部分MySQL到SQLServer存储过程以及kettle程序迁移
空军雷达大数据管理与分析系统 2018/8-2018/12
所属公司：武汉中楚创世软件有限公司
项目描述：项目描述：
用于空军雷达学院基于雷达数据的科研验证以及雷达数据的仓储活动。
所用技术：
Spark、Mapreduce、Hawq、Ambari、HDFS、Arcgis、Cesium、EChars
项目模块：
1.数据管理模块。2.雷达探测能力分析模块。3.目标特征分析模块。4.目标规律分析模块。5.回波特征分析模块。6.数据回放
模块。7.3DArcgis-Cesium地理信息系统展示模块。
工作内容：
(1)负责所有大数据模块的应用程序开发。
(2)负责大数据平台计算应用与Web之间的整合、网络通信中间件的开发。
(3)负责大数据平台的调试、维护、搭建以及针对项目的参数调优。
(4)负责数据回放Web模块的开发。
(5)负责Arcgis结合Cesium离线地图的制作。
(6)负责各项技术攻关。。

案例展示

+大数据开发平台

一、主要功能： 1. 可视化界面配置实现数据同步：通过配置完成大数据前期工作（包括跨不同数据库、不同系统间的数据批量同步），并在系统内管理数据同步任务。 2. 低代码开发和图形化配置和管理离线和实时计算：通过规范数据仓库分层开发流程，可视化图形界面开发配置，并在系统内
安检业务数据中台

一、主要功能：主要用于使用基于整套数据质量管理流程（元数据、数据集成、数据开发、数据资产、数据质量检测、数据血缘管理、数据生命周期管理、数据安全等方面）对企业数据进行质量管理。二、技术特点：本软件在基于CDH、Hadoop生态（HDFS、YARN、HBase、Hive
安检业务数据中台

一、主要功能：主要用于使用基于整套数据质量管理流程（元数据、数据集成、数据开发、数据资产、数据质量检测、数据血缘管理、数据生命周期管理、数据安全等方面）对企业数据进行质量管理。二、技术特点：本软件在基于CDH、Hadoop生态（HDFS、YARN、HBase、Hive