项目名称:社会网络数据采集及分析
主要负责:文本数据分析
技术栈:request+pandas+MySQL+NLP
项目介绍:
利用pandas进行数据清洗,对无效数据、冗余数据、脏数据替换或删除,并对时间序列数据进行格式化,根据需求选择数据纬度。
分析各参会人员的论文主题风格,使用NLP,对论文题目进行专业名词划分、热词统计,通过统计结果并结合现实情况获取每位参会人员的论文风格。
利用request从dblp中检索2022年海峡两岸网络容错与故障诊断研讨会参会人员近3年发表的论文题目,将爬取下来的数据联合业务需求设计数据库并完成数据库的部署工作。