(一)网络舆情分析系统,主要涉及爬虫和nlp分析,展示方式为基于php的laravel框架
1.主要目的为利用nlp技术,对自然语言进行分类和处理,从而得到带有信息的舆情分析结果
2.涉及excel的分析,页面的爬取(清洗,分词,分类)
语言技术栈有python,php
算法技术栈有LibLinear,决策树算法, TF-IDF关键词算法,cx-extractor提取算法等
(二)网络流量大数据分析系统,采集网络流量,利用hadoop集群和spark进行分析,使用vue.js和echart.js进行展示
1. 项目通过镜像区域路由器流量,使用bro采集,生成日志,存储至hdfs之中,技术栈涉及c++,c等
2.项目使用spark作为MapReduce的替代,读取bro生成的日志,利用dataframe进行分析(包括源IP分析,目标IP分析,用户浏览页面分析,http爬取等等),并存储至hive表之中,
3.使用django和pyspark读取hive表和提供查询api,前端使用vue.js集合element组件和echart做数据展示