1)熟练掌握 MySQL、Oracle 关系型数据库,掌握相关调优机制;
2)熟悉 Java、Scala 面向对象编程,理解 IO,多线程,集合等基础及JVM原理,具有JVM性能调优经验,深入了解常用的设计模式及应用场景,熟悉 TCP/IP/Socket/MQTT等协议原理;
3)熟悉 Springboot,、SpringMVC、Docker、Kubernetes,Redis 、RabbitMQ、Elasticsearch、Springcloud等框架;
4)熟悉 Linux 服务器架构,熟练使用shell脚本,具有熟练部署应用和分析问题的能力;
5)熟练掌握 Hadoop、HBase、Hive、Hdfs、Spark、Impala、Kudu 、Doris等大数据生态系统组件,有相关大数据架构开发成功案例;
6)理解 Hadoop 系统各组件的原理,有实际使用 Hive、Hdfs、Hbase、Spark、SparkStreaming、Kafka、Flink、Doris处理大数据相关问题的经验,具备一定的性能调优经验;
7)对 Python 有了解,做过相关开发;
8) 熟悉数据仓库领域知识,包括数据治理,数据质量,性能调优,维度建模和范式建模理论,熟练构建数据仓库模型;
9) 做事积极主动,具有高度的责任感与团队合作精神,主动学习新技术;
10) 英文听说能力良好,具备英文读写能力。
公司名称:安徽海马云科技股份有限公司
1、负责系统功能设计以及整体的数据结构设计; 2、根据项目的要求,负责项目代码的开发和设计: 3、参与需求评审、设计评审、代码评审; 4、参与系统稳定性、性能和扩展性调试; 5、独立解决开发中遇到的难点问题;
公司名称:IBM(国际商业机器公司)
项目简介:大众安徽销售公司APP、线下订单及售后、门店、车辆物流分别为不同部门开发及管理。数据平台项目负责和各个部门做业务及需求的对接,将各个部门的业务数据拉到华为云的数据平台Hive数据湖,作数据仓库SDI和DWI两层的建模分析,后同步DWI层的数据到华为GaussDB,作数据仓库DWR和DM层的建模,然后将数据仓库DM层的数据在阿里QuickBI端展示,并作对应的app后端开发。
项目职责:1. 参与数据仓库系统架构设计,负责数据仓库规范方案的评审及数据仓库技术方案的制定;2. 负责需求的调研、标准设计及对需求提出相应的改进方案; 3. 负责数据源信息的调研及华为云数据平台数据的接入,开发及作业调度; 4. 负责业务离线和实时数据的入湖、OLAP数据仓库的建模及核心代码的开发; 5. 负责产品线Java后台功能的开发,数据库和接口文档及功能模块的设计;6. 负责系统之间的对接及数据的同步;7. 负责技术组件及项目管理方案的研究。
公司名称:合肥安慧软件有限公司
工作描述:1. 负责大数据集群的日常巡检;2. 负责大数据应用方案的思考、开发及优化;3. 负责数据中台集群的部署,包括Doris,Elasticsearch,Kafka,RabbitMQ,Redis,Nacos等组件,为公司开发提供基础的应用支撑;4. 负责业务数据的接入及ETL 设计、开发及维护;5. 负责Java技术方向的产品和项目研发,负责BI报表及产品线 Java 后端开发,实现具体的项目需求;6. 负责技术架构的选型,并针对选型作具体的分享研讨;7. 负责产品需求设计,同产品部门共同探讨产品设计的方案; 8. 负责新技术的研究,为提升客户体验和及时发现公司服务器的异常情况,独立完成告警任务的调研及部署。
公司名称:科大国创软件股份有限公司
项目简介:通过华为BDI数据同步工具将用户每天通过基站采集的经纬度、手机号、电瓶信息功率值等关于用户基站的数据同步到Hdfs,通过Hive作数据开发及分析。通过Spark开发和分析用户行为,计算出用户居住地、工作地,以为分析出用户的上下班轨迹及其他关于用户的轨迹分析。将用户的居住地、工作地存储到Hbase,通过Java Hbase Api将用户的居住地、工作地信息展示到前端界面。
项目职责:1. 负责项目数据 ETL 的设计及代码开发;2. 负责项目定位流程方案的设计、开发及优化;3. 负责大数据采集系统、调度系统的维护及用户基站数据指纹库的优化更新;4. 负责Java 后端开发及大数据应用开发;5. 负责系统之间需求的对接及讨论;6. 负责离线批处理的性能优化,提高ETL的计算效率及优化数据的存储;7. 负责相关算法的研究,对基站数据指纹库进行优化,提高用户定位的准确性。