项目名称:新闻分类
项目介绍: 研发政治行为,经济政策,外交情况,军事行动,新闻对策,社会舆情等六类新闻的分类产品。
我的职责:1.负责写脚本转换数据格式,均衡数据集,大概每类新闻 3500 条 2.调研分类算法模型的发展近况,针
对数据集,选择合适的算法模型训练并调参 3.负责改进算法模型,对比自己搭建的 24 层 transformer 模型,bert
模型和 bertRNN 等模型的效果 4.写规则加入先验知识,以及根据规则制作多标签分类模型 5.将训练好的算法写
fastapi 接口部署到服务器,将算法和环境封装 docker 镜像 (注:该模型在百度算法大赛上取得前 10 的排名)
项目名称: 场景语义描述
项目介绍:研发 社会,外交,军事,政治等不同场景的类别对齐和语义描述
我的职责:改进英文对比学习算法clip,尝试把clip算法的语义text
_encoder换成bert,重头训练中文clip
项目名称:模型FP8量化
我的职责:设计不同的量化方案,为每层设计损失函数进行量化或根据tensor的分布进行分通道分层量化,
对比TensorRT量化和adaround量化精确度损失,做实验验证layer独立和block独立等假设