基本信息

案例ID:181128

技术顾问:不倒翁 - 11年经验 - 中兴

联系沟通

微信扫码,建群沟通

项目名称:舆情大数据平台

所属行业:企业服务 - 数据服务

->查看更多案例

案例介绍

项目主要工作内容如下:
1、 kakfa 代码开发,接入爬虫数据. 2、 elasticsearch 搜索引擎平台构建、优化. 3、 基于 motan rpc 为上层提供接口. 4、 kafka 、elasticsearch 相关开发文档编写和整理. 5、Spark 关键词提取,智能解析,人工推荐.(1)数据缓存层:针对爬虫的数据(微博、微信等)通过 kafka 进行缓存,缓存生命周期 7day.(2)实时计算层:对 kakfa 数据,采用stormtopology 实时消费、分析.(3)数据应用层:对 storm 和 spark Streaming 实时分析的数据,实时 elasticsearch 搜索引擎,提供最终客户数据.用 hadoop/spark,hbase,mysql 做离线分析.Spark 做关键词提取,智能解析,人工推荐.具体实现:本项目采用 kakfa 对爬虫的数据进行缓存,storm/saprk 实时的对 kafka 数据进行消费,最终将 storm/saprk 实时处理的数据写入到 elasticsearch 搜索引擎,为客户提供精准、实时的数据.项目主要用到的组件: storm, kafka, elasticsearch ,hbase, kibana, shell, spark,hadoop

相似案例推荐

其他人才的相似案例推荐

  • XXX公司防控疫情系统

    XXX公司防控疫情系统

    功能:来访登记、出行登记、出差登记、风险地区登记、身体异常登

  • XXX经贸数据平台

    XXX经贸数据平台

    功能:进出口贸易、企业备案、运输工具备案、部门备案、进出商品

  • LENSCRAFTERS企业服务

    LENSCRAFTERS企业服务

    1、功能: 企业综合服务网站,包括当不限于:线上预约,门店

  • 智能辅助系统

    智能辅助系统

    负责对第三方接口联调测试、线上部署,对接文档编写,方便其他系

  • 视频平台

    视频平台

    视频分析平台是一种基于人工智能算法,为图像或者视频提供内容分

  • 人脸识别后台

    人脸识别后台

    AI云开放平台是一种基于人工智能算法,为图像或者视频提供关键

  • 数据采集工具

    数据采集工具

    用于,供货商企业或者生产企业对下属经销商的数据采集,采集进货

  • 制片项目管理系统

    制片项目管理系统

    大部分公司通过传统原始的Excel来管理项目,拆分成不同的表

  • 知识库

    知识库

    公司每年每月都会产生大量的文档资料,不管是公司日常行政,人事

  • 智慧监测云平台

    智慧监测云平台

    软硬件结合,采集传感器数据。 功能: 1.传感器管理、权

  • 企业内部信息化建设框架

    企业内部信息化建设框架

    企业内部框架,使用django自主开发,其中包括基础数据查询

  • 居家数据爬虫

    居家数据爬虫

    全网爬去二手房数据 获取二手房源信息,相关的价格,位置,成

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系招聘专员
联系招聘专员