卡夫卡
大数据开发工程师
橙色魔方 · 8年经验
日薪：
￥500/8h
地点：
杭州 拱墅
时间：
下班后周六可工作日远程可工作日驻场（离职原因）可工作日驻场（自由职业原因）
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.熟悉 BI 项目开发流程、熟悉运用 Kylin 及 Tableau 等数据可视化展示工具
2.掌握数据仓库 HIVE 、数据库 Teradata、Gauss、MySQL 、了解 Hbase；
3.掌握 Linux 相关命令，熟悉 shell 脚本；
4.掌握 HDFS、MapReduce、Impala等 hadoop 相关技术，了解 kafka；
5.熟悉 Python 语言，了解 pandas，Numpy 、爬虫、Java
2.掌握数据仓库 HIVE 、数据库 Teradata、Gauss、MySQL 、了解 Hbase；
3.掌握 Linux 相关命令，熟悉 shell 脚本；
4.掌握 HDFS、MapReduce、Impala等 hadoop 相关技术，了解 kafka；
5.熟悉 Python 语言，了解 pandas，Numpy 、爬虫、Java
项目经验
1. 招商银行资产托管项目：专注于处理股票、债券、基金等数据信息，为证监会提供相应的日报、季报、半年报和年报。主要业务包括监管报送、人行报送和保险报表。
2. 主要工作内容：
- Java 应用端：使用 Springboot 框架，根据业务需求进行 Java 项目的开发，包括但不限于修改经理或主管复核流程（批量操作、审核通过和驳回、报告状态更新、消息提醒、定时任务），发送盖章流程（从 ECS 上下载文件、调用总行和分行的电子章进行盖章，然后发送盖章），以及消息提醒待办（报告状态更新后对相应的经理和主管角色进行提醒）等功能。
- 大数据开发和数据端：使用 Hive、MySQL和 Sqoop 进行数据处理：根据业务需求开发 Hive SQL 报表（包括公募基金、季报、理财产品、保险类报表数据）。使用 Python 脚本跑 Hive SQL ，通过 Hive和 Impala 加工数据，然后使用 Sqoop 将数据抽取到 MySQL 应用库，然后在 Java 应用端进行渲染和展示。
- 其他：Python 脚本开发（用于处理调度的跑数以及失败的重跑），Hive SQL 的优化；根据基金经理的需求进行数据核对，以及相应页面报错类的运维工作。
2. 主要工作内容：
- Java 应用端：使用 Springboot 框架，根据业务需求进行 Java 项目的开发，包括但不限于修改经理或主管复核流程（批量操作、审核通过和驳回、报告状态更新、消息提醒、定时任务），发送盖章流程（从 ECS 上下载文件、调用总行和分行的电子章进行盖章，然后发送盖章），以及消息提醒待办（报告状态更新后对相应的经理和主管角色进行提醒）等功能。
- 大数据开发和数据端：使用 Hive、MySQL和 Sqoop 进行数据处理：根据业务需求开发 Hive SQL 报表（包括公募基金、季报、理财产品、保险类报表数据）。使用 Python 脚本跑 Hive SQL ，通过 Hive和 Impala 加工数据，然后使用 Sqoop 将数据抽取到 MySQL 应用库，然后在 Java 应用端进行渲染和展示。
- 其他：Python 脚本开发（用于处理调度的跑数以及失败的重跑），Hive SQL 的优化；根据基金经理的需求进行数据核对，以及相应页面报错类的运维工作。
卡夫卡
大数据开发工程师 · 8年经验 · 橙色魔方
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
1.熟悉 BI 项目开发流程、熟悉运用 Kylin 及 Tableau 等数据可视化展示工具
2.掌握数据仓库 HIVE 、数据库 Teradata、Gauss、MySQL 、了解 Hbase；
3.掌握 Linux 相关命令，熟悉 shell 脚本；
4.掌握 HDFS、MapReduce、Impala等 hadoop 相关技术，了解 kafka；
5.熟悉 Python 语言，了解 pandas，Numpy 、爬虫、Java
2.掌握数据仓库 HIVE 、数据库 Teradata、Gauss、MySQL 、了解 Hbase；
3.掌握 Linux 相关命令，熟悉 shell 脚本；
4.掌握 HDFS、MapReduce、Impala等 hadoop 相关技术，了解 kafka；
5.熟悉 Python 语言，了解 pandas，Numpy 、爬虫、Java
项目经验
1. 招商银行资产托管项目：专注于处理股票、债券、基金等数据信息，为证监会提供相应的日报、季报、半年报和年报。主要业务包括监管报送、人行报送和保险报表。
2. 主要工作内容：
- Java 应用端：使用 Springboot 框架，根据业务需求进行 Java 项目的开发，包括但不限于修改经理或主管复核流程（批量操作、审核通过和驳回、报告状态更新、消息提醒、定时任务），发送盖章流程（从 ECS 上下载文件、调用总行和分行的电子章进行盖章，然后发送盖章），以及消息提醒待办（报告状态更新后对相应的经理和主管角色进行提醒）等功能。
- 大数据开发和数据端：使用 Hive、MySQL和 Sqoop 进行数据处理：根据业务需求开发 Hive SQL 报表（包括公募基金、季报、理财产品、保险类报表数据）。使用 Python 脚本跑 Hive SQL ，通过 Hive和 Impala 加工数据，然后使用 Sqoop 将数据抽取到 MySQL 应用库，然后在 Java 应用端进行渲染和展示。
- 其他：Python 脚本开发（用于处理调度的跑数以及失败的重跑），Hive SQL 的优化；根据基金经理的需求进行数据核对，以及相应页面报错类的运维工作。
2. 主要工作内容：
- Java 应用端：使用 Springboot 框架，根据业务需求进行 Java 项目的开发，包括但不限于修改经理或主管复核流程（批量操作、审核通过和驳回、报告状态更新、消息提醒、定时任务），发送盖章流程（从 ECS 上下载文件、调用总行和分行的电子章进行盖章，然后发送盖章），以及消息提醒待办（报告状态更新后对相应的经理和主管角色进行提醒）等功能。
- 大数据开发和数据端：使用 Hive、MySQL和 Sqoop 进行数据处理：根据业务需求开发 Hive SQL 报表（包括公募基金、季报、理财产品、保险类报表数据）。使用 Python 脚本跑 Hive SQL ，通过 Hive和 Impala 加工数据，然后使用 Sqoop 将数据抽取到 MySQL 应用库，然后在 Java 应用端进行渲染和展示。
- 其他：Python 脚本开发（用于处理调度的跑数以及失败的重跑），Hive SQL 的优化；根据基金经理的需求进行数据核对，以及相应页面报错类的运维工作。
立即沟通
