北京北信源软件股份有限公司
个人
ID:347494
python开发工程师
2年
800元/8小时
技术:Hadoop体系架构,如MapReduce,HDFS有相关组件
熟悉 Mysql的基本操作及其原理,如事务机制,存储原理和存储引擎等。
熟悉Java ,jvm 虚拟机, Shell 脚本。
熟悉Python语言,包括Numpy,Pandas, Scipy, sklearn,
项目:1. 大数据处理平台开发
在北信源公司期间,主导开发了一个基于Hadoop生态系统的大数据处理平台。该平台利用HDFS进行海量数据存储,采用MapReduce进行分布式数据处理,并结合Hive进行数据统计分析。通过优化MapReduce任务和Hive查询性能,使得数据处理效