上海派拉软件股份有限公司
团队
ID:123429
大数据日志监控研发工程师
3年
500元/8小时
技术:技术能力:
精通大数据开发,以及其中的各个组件:
hadoop生态圈(hdfs,hbase等不举例了),
spark,
kylin,
key-value数据库(redis等),
kafka,
flume的二次开发,
cloudera的平台搭建、使用,
以及他们各
项目:项目经验:
我主要职责是开发公司的产品:大数据日志分析
所以说,我的项目经验都是围绕产品来的,
产品中包含:日志的采集,存储,计算(流式,离线),整个大数据这一块都由我一个人负责。
所以我下面举例某几个项目:
一、在有一个银行项目中,他们原先的ESB数据存于DB2(这家