一:舆情项目;
1.对微博,微信,门户网站,股票论坛等爬取的文本数据进行情感判定,按无监督学习和监督学习实现了两类模型;
2.无监督算法采用的是基于情感极性词典和人工规则对文本打分,根据打分结果判定正面、中性、负面;
3.有监督算法基于文本特征训练分类器,先对文章按渠道、行业进行分类,结合自定义词库进行分词,对文章内容抽取摘要,通过BOW提取标题和摘要中的特征,采用TFIDF作为特征取值,对行业特定词汇增大相应权重,在此基础上分别训练了SVM,XGBoost,RandomForest模型,acc在85%-89%之间;基于Keras训练了LSTM模型,最后多模型融合之后准确度达到90%;
4.工程部分采用flask restful API 将模型部署上线;
二:问答系统;
1.保险产品pdf文档解析,抽取知识点,制定知识点存储格式;
2.搭建基于检索的问答系统:整理用户问题和标准问题库,构建用户问题与标准问题匹配模型,根据标准问题抽取相关知识点,再生成相关的查询语句,生成答案回复;