DBE产品的开发与维护
案例介绍
开发技术：hadoop+hbase+kafka+flume+redis+spark+Python+Shell+Java+Scala+……
该款产品属于安防行业交付件，数据量较大，性能规格要求高，所以使用的多款组件，数据接入方面，利用Thrift的RPC远程跨语言的优势搭载kafka缓存功能，实现数据大规模入库，数据消费方面，利用flume高可用，高可靠的分布式的海量日志采集、聚合和传输的系统，实现数据的消费，数据落盘方面，以hadoop和hdfs文件为基准，使用分布式面向列的HBASE作为数据库+ElasticSearch分词检索系统便于数据的秒级检索，使用spark的parquet文件+ElasticSearch对海量数据进行分析，将分析结果存入postgreSQL，为了便于第三方调取使用，使用Jetty+Nginx反向代理的方式实现负载均衡，为了便于资源统一调度和管理，使用restful风格的设计模式方式，以便第三方的调取使用，该产品使用shell脚本和Python实现了产品的升级和维护 该系统包含如下模块：基本组件模块/研判业务/布控业务/流量统计业务/视图库业务/积分业务/HA等
DBE产品的开发与维护
案例介绍
开发工具：IDEA + SVN+ Maven
开发技术：hadoop+hbase+kafka+flume+redis+spark+Python+Shell+Java+Scala+……
该款产品属于安防行业交付件，数据量较大，性能规格要求高，所以使用的多款组件，数据接入方面，利用Thrift的RPC远程跨语言的优势搭载kafka缓存功能，实现数据大规模入库，数据消费方面，利用flume高可用，高可靠的分布式的海量日志采集、聚合和传输的系统，实现数据的消费，数据落盘方面，以hadoop和hdfs文件为基准，使用分布式面向列的HBASE作为数据库+ElasticSearch分词检索系统便于数据的秒级检索，使用spark的parquet文件+ElasticSearch对海量数据进行分析，将分析结果存入postgreSQL，为了便于第三方调取使用，使用Jetty+Nginx反向代理的方式实现负载均衡，为了便于资源统一调度和管理，使用restful风格的设计模式方式，以便第三方的调取使用，该产品使用shell脚本和Python实现了产品的升级和维护 该系统包含如下模块：基本组件模块/研判业务/布控业务/流量统计业务/视图库业务/积分业务/HA等
案例图片
1小时精推人才
需求方专属客服，免费梳理匹配
