舆情大数据平台
案例介绍
1、 kakfa 代码开发，接入爬虫数据. 2、 elasticsearch 搜索引擎平台构建、优化. 3、 基于 motan rpc 为上层提供接口. 4、 kafka 、elasticsearch 相关开发文档编写和整理. 5、Spark 关键词提取,智能解析,人工推荐.(1)数据缓存层:针对爬虫的数据(微博、微信等)通过 kafka 进行缓存,缓存生命周期 7day.(2)实时计算层:对 kakfa 数据,采用stormtopology 实时消费、分析.(3)数据应用层:对 storm 和 spark Streaming 实时分析的数据，实时 elasticsearch 搜索引擎,提供最终客户数据.用 hadoop/spark,hbase,mysql 做离线分析.Spark 做关键词提取,智能解析,人工推荐.具体实现:本项目采用 kakfa 对爬虫的数据进行缓存,storm/saprk 实时的对 kafka 数据进行消费,最终将 storm/saprk 实时处理的数据写入到 elasticsearch 搜索引擎,为客户提供精准、实时的数据.项目主要用到的组件: storm, kafka, elasticsearch ,hbase, kibana, shell, spark,hadoop
舆情大数据平台
案例介绍
项目主要工作内容如下：
1、 kakfa 代码开发，接入爬虫数据. 2、 elasticsearch 搜索引擎平台构建、优化. 3、 基于 motan rpc 为上层提供接口. 4、 kafka 、elasticsearch 相关开发文档编写和整理. 5、Spark 关键词提取,智能解析,人工推荐.(1)数据缓存层:针对爬虫的数据(微博、微信等)通过 kafka 进行缓存,缓存生命周期 7day.(2)实时计算层:对 kakfa 数据,采用stormtopology 实时消费、分析.(3)数据应用层:对 storm 和 spark Streaming 实时分析的数据，实时 elasticsearch 搜索引擎,提供最终客户数据.用 hadoop/spark,hbase,mysql 做离线分析.Spark 做关键词提取,智能解析,人工推荐.具体实现:本项目采用 kakfa 对爬虫的数据进行缓存,storm/saprk 实时的对 kafka 数据进行消费,最终将 storm/saprk 实时处理的数据写入到 elasticsearch 搜索引擎,为客户提供精准、实时的数据.项目主要用到的组件: storm, kafka, elasticsearch ,hbase, kibana, shell, spark,hadoop
案例图片
相似案例推荐
-
XXX公司防控疫情系统
功能：来访登记、出行登记、出差登记、风险地区登记、身体异常登
-
XXX经贸数据平台
功能：进出口贸易、企业备案、运输工具备案、部门备案、进出商品
-
LENSCRAFTERS企业服务
1、功能： 企业综合服务网站，包括当不限于：线上预约，门店
-
智能辅助系统
负责对第三方接口联调测试、线上部署，对接文档编写，方便其他系
-
视频平台
视频分析平台是一种基于人工智能算法，为图像或者视频提供内容分
-
人脸识别后台
AI云开放平台是一种基于人工智能算法，为图像或者视频提供关键
1小时精推人才
需求方专属客服，免费梳理匹配
