本系统有爬虫工厂，自然语言处理系统，数据分析系统等系统构成，采集网站30万，自媒体500万以及微信微博小红书等社交媒体信息。本人负责整体系统架构以及数据分析系统...
本系统底层采用hadoop大数据体系，互联网采集的原始数据存储在hbase中，通过数据清洗etl后，再次存储到es中，以提供前台数据展示和搜索。前台开发语言是java...
