康联科技有限公司
个人
ID:171540
大数据开发工程师
3年
600元/8小时
技术:1.熟练使用 Java 、Scala语言
2.熟练使用mysql、HBase理解Hbase的架构及rowkey设计 。
3.理解Hadoop 的HA集群,了解HDFS以及MR运行原理,可对数据清洗、过滤、汇总。
4.熟悉Spark架构的执行流程以及工作原理 , 以及RDD
项目:88网站风险预警平台
1、项目背景: 2018.07 - 2019.01
88二手网站提供着买卖二手服务的功能,如当当网 瓜子二手车等等,但是有大量用户的同时也存在着大量的爬虫,这些爬虫消耗了我们系统大量的资源但是却没有转换成实际的销量,导致系统资源消耗严重,严重时造成系统