大数据舆情监测平台
案例介绍
开发工具：idea
项目描述： 本系统从互联网采集数据并进行整理，用户可以方便快捷的查看数据，快速定位重大舆情信息，进行监测管理。本系统主要通过时间和区域两个维度及时发现相关舆情，以达到及时处理的目的。根据所设置分类，对信息进行整理。用户可自建简报，导出相关数据，整理上报。对于重大信息，以邮件发送、手机推送、电脑弹窗等方式及时发送给用户，以便及时掌握舆情，快速应对。
1、通过Jsoup,httpclient,htmlunit,selenium，OKHttp数据采集技术对微博、微信、论坛、报刊、新闻等网站信息将信息采大型招标数据采集集回来。
2、将数据用Redis去重、清洗入库。
3、将数据放入Hbase备份与存储。
4、负责特殊网页采集任务的分析及采集方案设计。
5、参与开发和优化分布式爬虫系统
大数据舆情监测平台
案例介绍
项目架构：jdk1.8+Maven+MySQL+MongoDB+Redis+Tomcat+SSM 框架+爬虫 框架 +Hadoop 框架
开发工具：idea
项目描述： 本系统从互联网采集数据并进行整理，用户可以方便快捷的查看数据，快速定位重大舆情信息，进行监测管理。本系统主要通过时间和区域两个维度及时发现相关舆情，以达到及时处理的目的。根据所设置分类，对信息进行整理。用户可自建简报，导出相关数据，整理上报。对于重大信息，以邮件发送、手机推送、电脑弹窗等方式及时发送给用户，以便及时掌握舆情，快速应对。
1、通过Jsoup,httpclient,htmlunit,selenium，OKHttp数据采集技术对微博、微信、论坛、报刊、新闻等网站信息将信息采大型招标数据采集集回来。
2、将数据用Redis去重、清洗入库。
3、将数据放入Hbase备份与存储。
4、负责特殊网页采集任务的分析及采集方案设计。
5、参与开发和优化分布式爬虫系统
案例图片
相似案例推荐
-
浏览器数据提取辅助工具
浏览器数据提取辅助工具，数据爬取通常涉及大量的文本分析工作，
-
电商网站商品信息爬取
根据京东，淘宝的商品分类爬取商品价格，类别信息。分析获取商品
-
国家企业信息公示系统企业信用数据爬取
通过爬取国家企业信息公示系统，信用中国等网站，获取全国企业信
-
工业物联网APP
工业物联网APP 项目描述 这个项目的主要是为
-
地理化分析系统
作品为地理化分析系统，我在其中担任了架构师和后端开发，包括了
-
企业数据分析平台
该作品是企业级别数据分析平台，我在其中担任了架构师和后端开发
1小时精推人才
需求方专属客服，免费梳理匹配
