猿急送>

其他后端兼职程序员

ID：303481

Nirvana

大数据开发工程师

公司信息：
上海科蓝软件有限公司

工作经验：
8年

兼职日薪：
700元/8小时

兼职时间：
下班后
周六
周日

所在区域：
其他
全区

技术能力

1、熟练使用Mapreduce、Hive、Impala、Kudu、Spark、Flume、Hbase、OOzie、Kafka、Redis、ELK等大数据主流框架进行数据开发工作
2、熟练使用Ranger、Dolphinscheduler、Atlas、Griffin、Dremio等数据治理相关框架的使用以及功能开发
3、熟练使用Springboot、Mybatis等WEB技术进行开发工作
4、熟练使用Sqoop、DataX、StreamSets、Kettle等数据同步工具
5、熟练搭建部署CDH版本大数据集群

项目经验

中科院自动化研究所数据中台项目
项目使用技术:Ranger、Dolphinscheduler、Atlas、Griffin、Dremio、Spark、Elasticsearch、SpringBoot、Mybatis
工作内容:
（1）负责数据中台项目数据权限管理模块功能的数据库设计以及开发测试工作
（2）负责数据中台项目数据共享模块功能的数据库设计以及开发测试工作
（3）负责数据中台项目数据资源监控管理模块的数据库设计以及开发测试工作
一汽集团数据湖项目
项目使用技术:OGG、KAFKA、KUDU、HBASE、Kettle、Sqoop、Springboot、Mybatis
工作内容:
（1）完成一汽集团公司15个业务系统(包含Oracle、Mysql、Sqlserver)总计约2000张表的业务数据准实时同步工作,通过Sqoop脚本同步历史数据,OGG程序捕捉变化数据集,投递到KAFKA端,使用KAFKA的Java API多线程消费数据并把变化数据同步到目标端KUDU表中,达到实时OLAP在线分析的目标。
（2）开发测试适配Oracle、Mysql、Sqlserver等多数据源历史数据迁移、批量建表、导入Kudu表的功能程序
一汽集团车联网项目
项目使用技术：SparkSQL、SparkStreaming、Kafka、Hbase、Impala、Elasticsearch
工作内容:
（1）通过SparkStreaming消费一汽移动出行通过传感器，埋点采集到Kafka通道的车辆实时位置数据进行数据过滤、去
重、解构，重组后存入Redis内存数据库供前端数据快速展示，实现近2W辆一汽红旗车辆的实时位置监控
（2）结合算法落地的模型数据与车联网采集落地的表数据，开发一汽集团车联网项目索赔支持、试乘试驾、事故车监测、AAK等多个车辆分析业务场景的数据接口
（3）编写Spark程序结合Hbase BulkLoad特性完成对13T车联网数据进行跨集群迁移工作
一汽大众道路试验车项目
项目使用技术:Mapreduece、Hive、Oozie、Impala、SpringBoot、Mybatis
工作内容:
（1）开发调优MapReduce程序按照制定规则批量解析data0、data1、data2文本类型数据落地到HDFS指定目录,关联Hive外部表
（2）使用OOZIE配置Mapreduce定时任务定时检测、解析上游每天上传的行车数据、Trace数据、总线数据三种类型的增量数据,配置定时调度HIVE脚本将解析后的数据迁移到HIVE中间表
（3）通过HIVE整合IMPALA进行快速查询客户关心的字段生成目标表数据并向前端展示供数
浦发大数据洞察平台项目
项目使用技术:Flink、Ignite、ELK、Spark、Hive、Impala
工作内容:
(1)参与搭建浦发银行大数据洞察平台集群;
(2)支持浦发银行大数据应用支撑平台项目银行原始表数据向hive数据仓库的迁移工作负责大数据应用支撑平台SIT环境测试的模拟造数,通过开发造数程序对上游提供的报文模板进行关键字段替换从而批量
(3)生成SOAP和SOP报文并对其Avro序列化处理发送到对应的kafka的Topic上以供Flink解析程序消费从而来覆盖大
数据洞察分析平台流式解析功能全量测试
(4)通过映射关系表配置上线生产的交易码的mappingfile文件和parser阶段的json、adapter的json文件并按照测试需
求进行维护
(5)熟悉Flink,Ignite, Elasticsearch等框架的安装使用并记录文档