info

Java大数据高级工程师
顺丰科技有限公司 · 10年经验
info
日薪: ¥1200/8h
地点: 深圳 宝安
时间: 可工作日驻场(自由职业原因)
有团队 · 可整包 ID:300531 复制

0
接单数
0
评价数
0
收藏数

AI 技能提取 | Spring Boot Spring Cloud Java 分布式 高并发 Hadoop Docker Jenkins DevOps Git Maven Elasticsearch MySQL HBase
精通java,springcloud,springboot等;
熟练掌握hadoop生态搭建;分布式存储和数据库技术ElasticSearch/Hbase/starrocks/doris/Presto/Mysql等。
熟练使用IDEA、Git、Maven、Jenkins、Docker等IDE和构建工具,有Devops的实际经验。
熟练掌握高可用、高并发、高性能的分布式系统的设计及应用。

项目1 、数据中台 Java大数据高级开发
项目描述:数据中台基于Hadoop生态和Flink计算引擎构建批流一体化实时数仓,打造一站式大数据分析平台。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治理、数据服务把数据资产变为数据服务能力,服务于企业业务。支撑企业业务创新,随时随地透视经营,辅助企业科学决策,加速企业数据驱动转型变革。
主要模块:数据治理平台、ETL采集服务平台、离线/实时开发IDE、数仓模型设计中心、资源调度平台、统一数据服务发布和订阅平台、安全管理等。
项目职责:
个人负责:大数据中台整体架构设计,相关设计文档编写,核心功能的开发。
参与协助:参与研究大数据技术应用解决方案等,解决海量数据实时计算问题。
技术应用:
数据采集:采用Flinkx的源码改写,可插件形式开发,支持多Source和Sink。
数据计算:采用Spark/Flink流批一体化,计算离线实时数据。
调度平台:采用Dolphinschedule实现工作流任务调度,支持简单拖拉拽即可实现复杂多种任务类型的调度。
数据存储:采用Kafka、Kudu+Impala存储实时数据,Hive+Presto存储离线数据。
服务框架:采用SpringCloud微服务框架,Nacos注册中心,实现零代码,可配置化API接口服务开发

项目2 、数据灯塔 Java大数据开发
项目描述:该平台整合顺丰物流营运各环节异常监控点,摆脱现有问题:调度对异常监控和决策(通过各个单环节
项目描述:数据灯塔充分运用大数据计算与分析技术,融合了顺丰科技内部自有20余年物流领域持续积累海量数据。
基于此大数据进行多维度深层次高精度的专业分析,以及通过快递实时直播、监控快件状态、预警分析、仓储分析、消费者画像研究、行业对比分析、供应链分析、智慧商圈、智慧云仓、促销作战室等数据清洗、整合、洞察与分析,为商户提供分行业分场景的一站式咨询、分析、营销和运营服务的专业解决方案,目前已经覆盖生鲜、食品、3C、服装等多个行业。
主要模块:灯塔物流、灯塔商业和行业解决方案、灯塔大屏、分仓模拟、定制数据等。
项目职责:
个人负责:负责大数据实时计算平台搭建开发和维护;实时计算模块、接口开发,编写接口相关文档。
参与协助:参与研究大数据技术应用解决方案等。
技术应用:
数据计算:数据计算层(采用Kafka、Flink实时计算分析);历史数据(采用sparksql 离线数据处理分析)。
数据存储:采用Elasticsearch、Hbase、Mysql、Hive、Redis等数据库。
服务框架:应用服务层采用springcloud+vuejs框架。

整包服务: 其他开发
负责人: Java大数据高级工程师
团队成员: 后端工程师 
info ID:300531 复制

info

有团队 · 可整包
Java大数据高级工程师 · 10年经验 · 顺丰科技有限公司
城市深圳 宝安 日薪1200元/8h 时间 可工作日驻场(自由职业原因)
0
累计接单
0
用户评价
0
被收藏

信用行为

0
接单数
0
评价数
0
收藏数

技术能力

AI 技能提取 | Spring Boot Spring Cloud Java 分布式 高并发 Hadoop Docker Jenkins DevOps Git Maven Elasticsearch MySQL HBase
精通java,springcloud,springboot等;
熟练掌握hadoop生态搭建;分布式存储和数据库技术ElasticSearch/Hbase/starrocks/doris/Presto/Mysql等。
熟练使用IDEA、Git、Maven、Jenkins、Docker等IDE和构建工具,有Devops的实际经验。
熟练掌握高可用、高并发、高性能的分布式系统的设计及应用。

项目经验

项目1 、数据中台 Java大数据高级开发
项目描述:数据中台基于Hadoop生态和Flink计算引擎构建批流一体化实时数仓,打造一站式大数据分析平台。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治理、数据服务把数据资产变为数据服务能力,服务于企业业务。支撑企业业务创新,随时随地透视经营,辅助企业科学决策,加速企业数据驱动转型变革。
主要模块:数据治理平台、ETL采集服务平台、离线/实时开发IDE、数仓模型设计中心、资源调度平台、统一数据服务发布和订阅平台、安全管理等。
项目职责:
个人负责:大数据中台整体架构设计,相关设计文档编写,核心功能的开发。
参与协助:参与研究大数据技术应用解决方案等,解决海量数据实时计算问题。
技术应用:
数据采集:采用Flinkx的源码改写,可插件形式开发,支持多Source和Sink。
数据计算:采用Spark/Flink流批一体化,计算离线实时数据。
调度平台:采用Dolphinschedule实现工作流任务调度,支持简单拖拉拽即可实现复杂多种任务类型的调度。
数据存储:采用Kafka、Kudu+Impala存储实时数据,Hive+Presto存储离线数据。
服务框架:采用SpringCloud微服务框架,Nacos注册中心,实现零代码,可配置化API接口服务开发

项目2 、数据灯塔 Java大数据开发
项目描述:该平台整合顺丰物流营运各环节异常监控点,摆脱现有问题:调度对异常监控和决策(通过各个单环节
项目描述:数据灯塔充分运用大数据计算与分析技术,融合了顺丰科技内部自有20余年物流领域持续积累海量数据。
基于此大数据进行多维度深层次高精度的专业分析,以及通过快递实时直播、监控快件状态、预警分析、仓储分析、消费者画像研究、行业对比分析、供应链分析、智慧商圈、智慧云仓、促销作战室等数据清洗、整合、洞察与分析,为商户提供分行业分场景的一站式咨询、分析、营销和运营服务的专业解决方案,目前已经覆盖生鲜、食品、3C、服装等多个行业。
主要模块:灯塔物流、灯塔商业和行业解决方案、灯塔大屏、分仓模拟、定制数据等。
项目职责:
个人负责:负责大数据实时计算平台搭建开发和维护;实时计算模块、接口开发,编写接口相关文档。
参与协助:参与研究大数据技术应用解决方案等。
技术应用:
数据计算:数据计算层(采用Kafka、Flink实时计算分析);历史数据(采用sparksql 离线数据处理分析)。
数据存储:采用Elasticsearch、Hbase、Mysql、Hive、Redis等数据库。
服务框架:应用服务层采用springcloud+vuejs框架。

团队情况

服务范围:
其他开发
团队构成:
负责人(Java大数据高级工程师) | 核心队员:后端工程师
客服二维码

没找到合适的人才?

扫码添加客服极速匹配,或直接发布需求让更多人才主动报名

平台担保交易 · 1小时内不满意可退款

平台信誉与实力

基于 35,336 需求方信任

  • ✓ 支付宝企业信用分 优秀 评级
  • ✓ 市场份额约占全行业三分之一
  • ✓ 程序员兼职行业全能首选平台
查看平台资质详情
收藏