项目描述:
1、申通快递内部存在恶意查询运单号违规操作,但是客户无具体关联日志追查到具体的违规员工。
2、针对改客户特殊场景最终部署一套SOC平台提高日志集中化的管理,利用集中化的日志管理优点,关联客户核心订单业务系统与员工系统。利用离线、实时引擎分析出违规操作最终锁定违规员工。
项目职责:
1、编写Shell脚本进行对10台服务器进行做免密方便后续批量分发安装rpm包、tar包以及配置文件。
2、利用Shell脚本安装ETL采集、清洗组件、CDH Hadoop管理平台、Yarn集群、Hdfs集群、Spark集群、Elasticsearch集群、Kafka集群、Zookeeper集群、Redis组件。
3、编写正则表达式解析schema字段,对特殊系统采集进行特殊标记。
4、根据客户现场安全设备进行编写实时规则进行实时告警以及绘出动态基线。
5、后期SOC平台的日常维护、远程培训、新功能的介绍、演示。