熟悉常用的推理框架,如vLLM、MNN等,并基于开源框架结合业务需求进行定制化优化,如投机解码、结构化输出等常用优化手段。能够结合CUDA、OpenCL、ARM CPU等平台进行算子优化。熟悉MTK NPU、高通NPU等平台大模型部署。
熟悉常用的推理框架,如vLLM、MNN等,并基于开源框架结合业务需求进行定制化优化,如投机解码、结构化输出等常用优化手段。能够结合CUDA、OpenCL、ARM CPU等平台进行算子优化。熟悉MTK NPU、高通NPU等平台大模型部署。
熟悉常用的推理框架,如vLLM、MNN等,并基于开源框架结合业务需求进行定制化优化,如投机解码、结构化输出等常用优化手段。能够结合CUDA、OpenCL、ARM CPU等平台进行算子优化。熟悉MTK NPU、高通NPU等平台大模型部署。
鼠标悬停或点击上方资质图片,可放大右下角二维码进行扫码验真。
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人