本项目基于THUCNews 中文新闻数据集，包含 65000 条数据，覆盖体育、财经、科技等十大新闻分类，基于 PyTorch 框架完整实现Transformer、精简 Slim-Transformer、卷积 Conv-Transformer、LSTM、BiLSTM多模型对比实验，完成从数据预处理、模型搭建、训练调优、模型改进到结果分析的全流程开发。
项目搭建完整文本预处理流水线，采用结构化噪音清洗、文本去重、自定义词表、分词序列截断填充等策略，通过消融实验验证精细预处理可将模型准确率提升近 18 个百分点。从零实现缩放点积注意力、多头注意力、位置编码、Pre-LN 编码器层等 Transformer 核心模块；设计精简 Transformer轻量化改造与卷积增强 Transformer改进方案，同时完整复现 LSTM、BiLSTM 基线模型，对比自注意力机制与循环网络在文本分类任务的性能差异。
训练环节采用 Warmup + 余弦学习率调度、早停机制、标签平滑正则化等优化策略，最终精简 Transformer 分类准确率达 96.20%。全程完成模型性能评估、混淆矩阵分析、损失与准确率曲线可视化，总结各模型优缺点与适用场景。
本人为项目独立开发负责人，包揽项目全部代码编写、算法原理复现、模型结构设计、超参数调优、实验对比与结果可视化全流程工作，熟练运用 Python、PyTorch、Jieba 分词完成 NLP 文本分类、Transformer 模型搭建、深度学习训练调优等开发任务，具备独立完成自然语言处理、深度学习建模与对比实验的实战能力。