AI算法工程师

项目总价 8000元
预估日薪 800/天
合作方式: 项目制
预估工时: 10天
发布位置: 北京
参与范围: 全国远程
呼呼美呼
呼呼美呼
职位ID: 155640复制

发布方信用行为

发布项目
1
订单总数
1
退款单数

需求描述

对BERT-base模型使用fp4/log4数据类型混合量化,量化后的模型推理准确度下降程度小于1 %。
2.技术内容:
1) 需要量化BERT-base模型中每一个Transformer block(一共12个);
2)每一个Transformer block中,需要量化生成QKV矩阵的权重矩阵WQ/WK/WV和输入token矩阵,输入token的数据类型要求fp8或fp16,权重的数据类型要求fp4;
3)每一个Transformer block中,FFN层、proj层的输入量化为fp8或fp16,权重量化为fp4;
4)每一个Transformer block中的每一个自注意力头的Q、K矩阵和P、V矩阵需要量化,量化要求为Q、K、P、V均为log4数据类型。
5)优先使用pytorch深度学习框架;
6)推理准确度下降程度小于1%;
7)推理准确度的评估应符合公认的BERT量化评估方案;
8)量化后的模型需后续可维护性强

AI算法工程师

合作方式 项目制
预估日薪 800
预估总价 8000元
预估工时 10天
发布位置 北京
可参与范围 全国远程
职位ID 155640复制
发布方 呼呼美呼
呼呼美呼
已有17人投递 ,发布人 点此登录 后查看。

需求描述

对BERT-base模型使用fp4/log4数据类型混合量化,量化后的模型推理准确度下降程度小于1 %。
2.技术内容:
1) 需要量化BERT-base模型中每一个Transformer block(一共12个);
2)每一个Transformer block中,需要量化生成QKV矩阵的权重矩阵WQ/WK/WV和输入token矩阵,输入token的数据类型要求fp8或fp16,权重的数据类型要求fp4;
3)每一个Transformer block中,FFN层、proj层的输入量化为fp8或fp16,权重量化为fp4;
4)每一个Transformer block中的每一个自注意力头的Q、K矩阵和P、V矩阵需要量化,量化要求为Q、K、P、V均为log4数据类型。
5)优先使用pytorch深度学习框架;
6)推理准确度下降程度小于1%;
7)推理准确度的评估应符合公认的BERT量化评估方案;
8)量化后的模型需后续可维护性强

发布方信用行为

发布项目 1
订单总数 1
退款单数 1

完善简历

工程师完善技术能力和项目经验,更易接到订单

完善人才简历

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。
已有 17 人投递
登录后查看投递状态