常富
高级大数据开发工程师
振兴银行 · 5年经验
日薪：
￥500/8h
地点：
深圳 福田
时间：
下班后周六周日可工作日远程
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
技术:Java ,Scala ,Oracle,hive,spark, springboot
1.负责搭建CDH大数据基础环境，并负责其相应运维，优化
2. 负责开发设计大数据中心调度中心，基于微服务应用门户系统集成元数据管理，采集配置服务，监控服务器，任务执行器相关功能
3. 负责对接业务系统数据JDBC采集工作，参与数据仓库ODS层模型数据分析，负责hive+oracle存储过程数据开发和优化，负责生产环境部署相关流程管理
4. 负责实时ES风险决策数据采集并转化
1.负责搭建CDH大数据基础环境，并负责其相应运维，优化
2. 负责开发设计大数据中心调度中心，基于微服务应用门户系统集成元数据管理，采集配置服务，监控服务器，任务执行器相关功能
3. 负责对接业务系统数据JDBC采集工作，参与数据仓库ODS层模型数据分析，负责hive+oracle存储过程数据开发和优化，负责生产环境部署相关流程管理
4. 负责实时ES风险决策数据采集并转化
项目经验
大数据数据采集中心应用平台
工作内容：
1. 开发元数据管理模块及时同步元数据反映数据格式变化
2. 开发+设计数据采集模块，集成可配置化，可视化数据同步功能
3. 开发+设计数据服务模块，集成数据脱敏，数据分级分类，数据血统分析处理模块
大数据分布式调度应用平台；
大数据数据仓库基础平台；
工作内容：1. 参与大数据平台的建设和维护
2. 参与设计数据仓库模型、构建分层体系、元数据管理及核心应用开发
3. 参数据服务的开发，为其他部门提供数据服务
4. 负责基于Hadoop/Spark/Hive/HBase/kafka等分布式计算平台实现离线分析、实时分析的计算框架；
5. 负责大数据应用产品（营销、推荐、搜索、分析等）的设计、开发、维护工作，包括系统/算法的设计及实现；
6. 在线推荐及广告营销系统开发，实时数据和离线数据的加工分析及可视化等
工作内容：
1. 开发元数据管理模块及时同步元数据反映数据格式变化
2. 开发+设计数据采集模块，集成可配置化，可视化数据同步功能
3. 开发+设计数据服务模块，集成数据脱敏，数据分级分类，数据血统分析处理模块
大数据分布式调度应用平台；
大数据数据仓库基础平台；
工作内容：1. 参与大数据平台的建设和维护
2. 参与设计数据仓库模型、构建分层体系、元数据管理及核心应用开发
3. 参数据服务的开发，为其他部门提供数据服务
4. 负责基于Hadoop/Spark/Hive/HBase/kafka等分布式计算平台实现离线分析、实时分析的计算框架；
5. 负责大数据应用产品（营销、推荐、搜索、分析等）的设计、开发、维护工作，包括系统/算法的设计及实现；
6. 在线推荐及广告营销系统开发，实时数据和离线数据的加工分析及可视化等
团队情况
整包服务：
微信公众号开发微信小程序开发PC网站开发H5网站开发文档原型图运维类开发DBA开发其他开发
负责人：
高级大数据开发工程师
团队成员：
产品经理 UI设计师 iOS工程师 安卓工程师 前端工程师 后端工程师
常富
有团队 · 可整包
高级大数据开发工程师 · 5年经验 · 振兴银行
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
技术:Java ,Scala ,Oracle,hive,spark, springboot
1.负责搭建CDH大数据基础环境，并负责其相应运维，优化
2. 负责开发设计大数据中心调度中心，基于微服务应用门户系统集成元数据管理，采集配置服务，监控服务器，任务执行器相关功能
3. 负责对接业务系统数据JDBC采集工作，参与数据仓库ODS层模型数据分析，负责hive+oracle存储过程数据开发和优化，负责生产环境部署相关流程管理
4. 负责实时ES风险决策数据采集并转化
1.负责搭建CDH大数据基础环境，并负责其相应运维，优化
2. 负责开发设计大数据中心调度中心，基于微服务应用门户系统集成元数据管理，采集配置服务，监控服务器，任务执行器相关功能
3. 负责对接业务系统数据JDBC采集工作，参与数据仓库ODS层模型数据分析，负责hive+oracle存储过程数据开发和优化，负责生产环境部署相关流程管理
4. 负责实时ES风险决策数据采集并转化
项目经验
大数据数据采集中心应用平台
工作内容：
1. 开发元数据管理模块及时同步元数据反映数据格式变化
2. 开发+设计数据采集模块，集成可配置化，可视化数据同步功能
3. 开发+设计数据服务模块，集成数据脱敏，数据分级分类，数据血统分析处理模块
大数据分布式调度应用平台；
大数据数据仓库基础平台；
工作内容：1. 参与大数据平台的建设和维护
2. 参与设计数据仓库模型、构建分层体系、元数据管理及核心应用开发
3. 参数据服务的开发，为其他部门提供数据服务
4. 负责基于Hadoop/Spark/Hive/HBase/kafka等分布式计算平台实现离线分析、实时分析的计算框架；
5. 负责大数据应用产品（营销、推荐、搜索、分析等）的设计、开发、维护工作，包括系统/算法的设计及实现；
6. 在线推荐及广告营销系统开发，实时数据和离线数据的加工分析及可视化等
工作内容：
1. 开发元数据管理模块及时同步元数据反映数据格式变化
2. 开发+设计数据采集模块，集成可配置化，可视化数据同步功能
3. 开发+设计数据服务模块，集成数据脱敏，数据分级分类，数据血统分析处理模块
大数据分布式调度应用平台；
大数据数据仓库基础平台；
工作内容：1. 参与大数据平台的建设和维护
2. 参与设计数据仓库模型、构建分层体系、元数据管理及核心应用开发
3. 参数据服务的开发，为其他部门提供数据服务
4. 负责基于Hadoop/Spark/Hive/HBase/kafka等分布式计算平台实现离线分析、实时分析的计算框架；
5. 负责大数据应用产品（营销、推荐、搜索、分析等）的设计、开发、维护工作，包括系统/算法的设计及实现；
6. 在线推荐及广告营销系统开发，实时数据和离线数据的加工分析及可视化等
团队情况
服务范围：
团队构成：
负责人(高级大数据开发工程师)
|
核心队员：产品经理 ·
UI设计师 ·
iOS工程师 ·
安卓工程师 ·
前端工程师 ·
后端工程师
案例展示
大数据采集中心
大数据中心门户系统-采集中心 数据+应用开发 日期 2019.02—至今 描述：内容：在“互联网+”的背景下，原公司系统分六大部门，十多个模块，上百个关系型与非关系型数据库。其中各数据格式，业务类型，数据模型各有差异，系统变更快，传统ETL采集方式并不能满足反馈及时，变更
分布式调度中心
分布式调度平台是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。具有高可靠、海量任务、秒级别调度等能力 。采用全新的架构，是全新自研的分布式任务调度平台，不但解决了老产品的性能瓶颈，还提供了更多更快更强的能力 前后端使用技术：jav
大数据采集配置中心
采集中心主要给用户提供可配置化、高性能、安全可靠、批管理、批监控管理数据融合与批管理、批监控管理服务，使用的采集中心离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、ElaticSearch、impala、HDFS、Hive、ADS、HBase、Ta
立即沟通
