卡夫卡
大数据开发工程师
- 公司信息：
- 橙色魔方
- 工作经验：
- 8年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 可工作日远程
- 可工作日驻场（离职原因）
- 可工作日驻场（自由职业原因）
- 所在区域：
- 杭州
- 拱墅
技术能力
1.熟悉 BI 项目开发流程、熟悉运用 Kylin 及 Tableau 等数据可视化展示工具
2.掌握数据仓库 HIVE 、数据库 Teradata、Gauss、MySQL 、了解 Hbase；
3.掌握 Linux 相关命令，熟悉 shell 脚本；
4.掌握 HDFS、MapReduce、Impala等 hadoop 相关技术，了解 kafka；
5.熟悉 Python 语言，了解 pandas，Numpy 、爬虫、Java
项目经验
1. 招商银行资产托管项目：专注于处理股票、债券、基金等数据信息，为证监会提供相应的日报、季报、半年报和年报。主要业务包括监管报送、人行报送和保险报表。
2. 主要工作内容：
- Java 应用端：使用 Springboot 框架，根据业务需求进行 Java 项目的开发，包括但不限于修改经理或主管复核流程（批量操作、审核通过和驳回、报告状态更新、消息提醒、定时任务），发送盖章流程（从 ECS 上下载文件、调用总行和分行的电子章进行盖章，然后发送盖章），以及消息提醒待办（报告状态更新后对相应的经理和主管角色进行提醒）等功能。
- 大数据开发和数据端：使用 Hive、MySQL和 Sqoop 进行数据处理：根据业务需求开发 Hive SQL 报表（包括公募基金、季报、理财产品、保险类报表数据）。使用 Python 脚本跑 Hive SQL ，通过 Hive和 Impala 加工数据，然后使用 Sqoop 将数据抽取到 MySQL 应用库，然后在 Java 应用端进行渲染和展示。
- 其他：Python 脚本开发（用于处理调度的跑数以及失败的重跑），Hive SQL 的优化；根据基金经理的需求进行数据核对，以及相应页面报错类的运维工作。
相似人才推荐
-
600元/天高级Python工程师深圳安络科技有限公司概要：本人熟练操作Python编程语言，熟练使用Python主流框架Flask，Django开发，熟练使用 -
500元/天后端研发工程师浪潮集团有限公司概要：大家好，我是一名Python程序员。我对编程充满热情，特别是对Python语言的深入了解和使用。
-
500元/天程序员无概要：使用Python进行网络爬虫，获取数据以及数据统计，可以按照要求进行编写程序，并保证售后，满意为止。
-
500元/天深度学习研发工程师光线起源有限公司概要：精通Python，主攻深度学习和机器学习算法，熟练掌握PyTorch框架的应用，能够短时间内迅速搭建
-
800元/天C/python 高级工程师华为、360概要：教育背景： 2004.09 – 2007.07 就读于首都师范大学 计算机科学与技术系；硕士学
-
500元/天python爬虫工程师北京知新树科技有限公司概要：在职java工程师，两年开发工作经验，拥有良好的编程习惯和信誉,熟练掌握主流框架springboot
-
500元/天数据库管理广州历康概要：1、运用pandas、numpy、pyecharts等第三方库进行数据预处理和数据可视化。 2、熟
-
500元/天图像识别工程师广西职业技术学院概要：我是一名熟练掌握Python及相关技术的开发者，拥有扎实的编程基础和丰富的实战经验。在长期的开发实践
