Jesen
java-spark开发工程师
花旗银行 · 5年经验
日薪：
￥1000/8h
地点：
上海 浦东
时间：
下班后周六周日可工作日远程可工作日驻场（离职原因）可工作日驻场（自由职业原因）
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.熟悉 Hadoop 生态相关技术并有相关开发，具备一定的 JAVA、Python 语言的开发能力;
2.熟练掌握编写 SQL 语句及优化的基本技巧，熟悉 Oracle、DB2、MySQL 等关系型数据库以及 Redis 缓存;
3.熟悉 Shell 语言及 Linux 命令，运用 shell 脚本进行自动化脚本的编写;
4.使用 java, Scala 进行项目的开发，能够实现 Spark 框架的研发作业和项目调优;
5.Hive 数仓架构，熟练掌握 HQL，了解海量数据的开发处理;
6.运用大数据开发工具，掌握 Hadoop、Impala、HDFS, 具备基本开发经验;
7.熟悉 angular、jsp 等前端技术以及 UI 设计工具，熟练运用 Spring Boot/ SSM 等主流开发框架;
8.熟悉 Maven 项目管理工具以及 SVN、Git 版本控制工具;
2.熟练掌握编写 SQL 语句及优化的基本技巧，熟悉 Oracle、DB2、MySQL 等关系型数据库以及 Redis 缓存;
3.熟悉 Shell 语言及 Linux 命令，运用 shell 脚本进行自动化脚本的编写;
4.使用 java, Scala 进行项目的开发，能够实现 Spark 框架的研发作业和项目调优;
5.Hive 数仓架构，熟练掌握 HQL，了解海量数据的开发处理;
6.运用大数据开发工具，掌握 Hadoop、Impala、HDFS, 具备基本开发经验;
7.熟悉 angular、jsp 等前端技术以及 UI 设计工具，熟练运用 Spring Boot/ SSM 等主流开发框架;
8.熟悉 Maven 项目管理工具以及 SVN、Git 版本控制工具;
项目经验
ETL 数据开发 Spark 大数据开发
基于公司 Global Systematic Stress Test 业务构建的大型数据分析平台，日均数据处理量 1TB，对上 游每日的数据 进行离线分析、处理、清洗后写入数仓。构建交易数据的离线与实时数据仓库，设计数据 模型，ETL 实施，ETL 性能优化， ETL 数据监控，提升数据架构扩展性，支持数据产品的快速迭代和横向 扩展。该项目使用 Java 语言通过 Spark 和 Hive 构建数仓，包括数据抽取，转换和加载，确保数据的 高效处理和整合。同时进行 Spark 性能调优，每天固定时间数据会更新，需要及时处理 确保性能稳定， 编写自动化监控脚本。
交易数据模型构建分析处理系统 Java 前后端开发
前台主要用 angular 构建 UI 展示上游数据，后台通过 Spring Boot 工程构建 API 和前端交互，实现 对新增、修改数 据的权限控制， 包括发起请求、拒绝、重新提交、废弃、批准等。
Web 端银行系统 Java 后端开发 业务功能主要是银行卡申请和审批，以及会员的信息更新，转账，积分等功能模块;后期项目重构将基于 Struts 框架的系统升级为 Spring Boot，通过引入 Docker 容器、Redis 和 IBM Cloud，简化配置的同 时提升了响应速度。
基于公司 Global Systematic Stress Test 业务构建的大型数据分析平台，日均数据处理量 1TB，对上 游每日的数据 进行离线分析、处理、清洗后写入数仓。构建交易数据的离线与实时数据仓库，设计数据 模型，ETL 实施，ETL 性能优化， ETL 数据监控，提升数据架构扩展性，支持数据产品的快速迭代和横向 扩展。该项目使用 Java 语言通过 Spark 和 Hive 构建数仓，包括数据抽取，转换和加载，确保数据的 高效处理和整合。同时进行 Spark 性能调优，每天固定时间数据会更新，需要及时处理 确保性能稳定， 编写自动化监控脚本。
交易数据模型构建分析处理系统 Java 前后端开发
前台主要用 angular 构建 UI 展示上游数据，后台通过 Spring Boot 工程构建 API 和前端交互，实现 对新增、修改数 据的权限控制， 包括发起请求、拒绝、重新提交、废弃、批准等。
Web 端银行系统 Java 后端开发 业务功能主要是银行卡申请和审批，以及会员的信息更新，转账，积分等功能模块;后期项目重构将基于 Struts 框架的系统升级为 Spring Boot，通过引入 Docker 容器、Redis 和 IBM Cloud，简化配置的同 时提升了响应速度。
团队情况
整包服务：
微信小程序开发WebApp开发
负责人：
java-spark开发工程师
团队成员：
后端工程师
Jesen
有团队 · 可整包
java-spark开发工程师 · 5年经验 · 花旗银行
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.熟悉 Hadoop 生态相关技术并有相关开发，具备一定的 JAVA、Python 语言的开发能力;
2.熟练掌握编写 SQL 语句及优化的基本技巧，熟悉 Oracle、DB2、MySQL 等关系型数据库以及 Redis 缓存;
3.熟悉 Shell 语言及 Linux 命令，运用 shell 脚本进行自动化脚本的编写;
4.使用 java, Scala 进行项目的开发，能够实现 Spark 框架的研发作业和项目调优;
5.Hive 数仓架构，熟练掌握 HQL，了解海量数据的开发处理;
6.运用大数据开发工具，掌握 Hadoop、Impala、HDFS, 具备基本开发经验;
7.熟悉 angular、jsp 等前端技术以及 UI 设计工具，熟练运用 Spring Boot/ SSM 等主流开发框架;
8.熟悉 Maven 项目管理工具以及 SVN、Git 版本控制工具;
2.熟练掌握编写 SQL 语句及优化的基本技巧，熟悉 Oracle、DB2、MySQL 等关系型数据库以及 Redis 缓存;
3.熟悉 Shell 语言及 Linux 命令，运用 shell 脚本进行自动化脚本的编写;
4.使用 java, Scala 进行项目的开发，能够实现 Spark 框架的研发作业和项目调优;
5.Hive 数仓架构，熟练掌握 HQL，了解海量数据的开发处理;
6.运用大数据开发工具，掌握 Hadoop、Impala、HDFS, 具备基本开发经验;
7.熟悉 angular、jsp 等前端技术以及 UI 设计工具，熟练运用 Spring Boot/ SSM 等主流开发框架;
8.熟悉 Maven 项目管理工具以及 SVN、Git 版本控制工具;
项目经验
ETL 数据开发 Spark 大数据开发
基于公司 Global Systematic Stress Test 业务构建的大型数据分析平台，日均数据处理量 1TB，对上 游每日的数据 进行离线分析、处理、清洗后写入数仓。构建交易数据的离线与实时数据仓库，设计数据 模型，ETL 实施，ETL 性能优化， ETL 数据监控，提升数据架构扩展性，支持数据产品的快速迭代和横向 扩展。该项目使用 Java 语言通过 Spark 和 Hive 构建数仓，包括数据抽取，转换和加载，确保数据的 高效处理和整合。同时进行 Spark 性能调优，每天固定时间数据会更新，需要及时处理 确保性能稳定， 编写自动化监控脚本。
交易数据模型构建分析处理系统 Java 前后端开发
前台主要用 angular 构建 UI 展示上游数据，后台通过 Spring Boot 工程构建 API 和前端交互，实现 对新增、修改数 据的权限控制， 包括发起请求、拒绝、重新提交、废弃、批准等。
Web 端银行系统 Java 后端开发 业务功能主要是银行卡申请和审批，以及会员的信息更新，转账，积分等功能模块;后期项目重构将基于 Struts 框架的系统升级为 Spring Boot，通过引入 Docker 容器、Redis 和 IBM Cloud，简化配置的同 时提升了响应速度。
基于公司 Global Systematic Stress Test 业务构建的大型数据分析平台，日均数据处理量 1TB，对上 游每日的数据 进行离线分析、处理、清洗后写入数仓。构建交易数据的离线与实时数据仓库，设计数据 模型，ETL 实施，ETL 性能优化， ETL 数据监控，提升数据架构扩展性，支持数据产品的快速迭代和横向 扩展。该项目使用 Java 语言通过 Spark 和 Hive 构建数仓，包括数据抽取，转换和加载，确保数据的 高效处理和整合。同时进行 Spark 性能调优，每天固定时间数据会更新，需要及时处理 确保性能稳定， 编写自动化监控脚本。
交易数据模型构建分析处理系统 Java 前后端开发
前台主要用 angular 构建 UI 展示上游数据，后台通过 Spring Boot 工程构建 API 和前端交互，实现 对新增、修改数 据的权限控制， 包括发起请求、拒绝、重新提交、废弃、批准等。
Web 端银行系统 Java 后端开发 业务功能主要是银行卡申请和审批，以及会员的信息更新，转账，积分等功能模块;后期项目重构将基于 Struts 框架的系统升级为 Spring Boot，通过引入 Docker 容器、Redis 和 IBM Cloud，简化配置的同 时提升了响应速度。
团队情况
服务范围：
团队构成：
负责人(java-spark开发工程师)
|
核心队员：后端工程师
案例展示
交易数据处理系统
基于公司 Global Systematic Stress Test 业务构建的大型数据分析平台，日均数据处理量 1TB，对上 游每日的数据 进行离线分析、处理、清洗后写入数仓。构建交易数据的离线与实时数据仓库，设计数据 模型，ETL 实施，ETL 性能优化， ETL 数据监控，
银行卡申请审批系统
业务功能主要是银行卡申请和审批，以及会员的信息更新，转账，积分等功能模块;后期项目重构将基于 Struts 框架的系统升级为 Spring Boot，通过引入 Docker 容器、Redis 和 IBM Cloud，简化配置的同 时提升了响应速度。
银行卡申请审批系统
业务功能主要是银行卡申请和审批，以及会员的信息更新，转账，积分等功能模块;后期项目重构将基于 Struts 框架的系统升级为 Spring Boot，通过引入 Docker 容器、Redis 和 IBM Cloud，简化配置的同 时提升了响应速度。
立即沟通
相似人才推荐：
北京高级全栈开发工程师 (武汉祥龙晴天信息科技有限公司) ，14年经验 ，500元/天
杭州JAVA开发工程师 (中软国际) ，1年经验 ，500元/天
青岛后端开发工程师，k8s运维工程师， (海信) ，15年经验 ，600元/天
成都架构师 (成都丽维家科技有限公司) ，12年经验 ，800元/天
大连Scala,React,Java高级 (tesobe) ，14年经验 ，1000元/天
深圳高级java开发工程师 (恒大) ，7年经验 ，600元/天
其他软件开发工程师 (山东玲珑轮胎股份有限公司) ，2年经验 ，500元/天
上海技术专家 (Oracle) ，15年经验 ，1000元/天
