DBE产品的开发与维护

猿急送>西安后端兼职程序员>在细雨中呼喊>

案例列表

基本信息

案例ID：132985

技术顾问：在细雨中呼喊 - 5年经验 - 太极计算机股份有限公司

联系沟通

微信扫码，建群沟通

项目名称：DBE产品的开发与维护

所属行业：企业服务 - 数据服务

->查看更多案例

案例介绍

开发工具：IDEA + SVN+ Maven
开发技术：hadoop+hbase+kafka+flume+redis+spark+Python+Shell+Java+Scala+……
该款产品属于安防行业交付件，数据量较大，性能规格要求高，所以使用的多款组件，数据接入方面，利用Thrift的RPC远程跨语言的优势搭载kafka缓存功能，实现数据大规模入库，数据消费方面，利用flume高可用，高可靠的分布式的海量日志采集、聚合和传输的系统，实现数据的消费，数据落盘方面，以hadoop和hdfs文件为基准，使用分布式面向列的HBASE作为数据库+ElasticSearch分词检索系统便于数据的秒级检索，使用spark的parquet文件+ElasticSearch对海量数据进行分析，将分析结果存入postgreSQL，为了便于第三方调取使用，使用Jetty+Nginx反向代理的方式实现负载均衡，为了便于资源统一调度和管理，使用restful风格的设计模式方式，以便第三方的调取使用，该产品使用shell脚本和Python实现了产品的升级和维护该系统包含如下模块：基本组件模块/研判业务/布控业务/流量统计业务/视图库业务/积分业务/HA等