在该项目中,我独立完成了一个基于社交媒体数据的舆情话题分析与用户画像系统,涵盖数据采集、异步任务调度、主题建模、文本聚类、传播关系分析等完整算法链路。系统能够根据用户输入的关键词自动抓取大量博文,并对话题热度、传播结构、评论主题、关键词云等多维度进行分析,最终生成可用于用户画像构建的主题标签。
在算法层面,项目实现了多种文本聚类与主题分析方法,包括基于 MGP 的短文本聚类算法、LDA 主题模型、Single-Pass 在线聚类等,用于处理不同粒度的舆情结构与用户行为模式。同时构建了传播树、关键节点识别等图结构分析模块,用于刻画信息扩散路径。
在工程方面,系统采用前后端分离架构,后端基于 FastAPI 构建服务,结合 Celery 与 Redis 实现分布式异步任务处理,前端基于 Vue 实现可视化界面。整体项目展示了我在算法设计、数据处理、系统架构与工程落地方面的综合能力。