天才da熊猫的案例列表
作者：天才da熊猫 · 共 3 个案例
vllm、mnn推理框架部署优化
熟悉常用的推理框架，如vLLM、MNN等，并基于开源框架结合业务需求进行定制化优化，如投机解码、结构化输出等常用优化手段。能够结合CUDA、OpenCL、ARM CPU等平台进行算子优化。熟悉MTK NPU、高通NPU等平台大模型部署。
高通NPU大模型部署
熟悉常用的推理框架，如vLLM、MNN等，并基于开源框架结合业务需求进行定制化优化，如投机解码、结构化输出等常用优化手段。能够结合CUDA、OpenCL、ARM CPU等平台进行算子优化。熟悉MTK NPU、高通NPU等平台大模型部署。
mnn推理框架部署优化
熟悉常用的推理框架，如vLLM、MNN等，并基于开源框架结合业务需求进行定制化优化，如投机解码、结构化输出等常用优化手段。能够结合CUDA、OpenCL、ARM CPU等平台进行算子优化。熟悉MTK NPU、高通NPU等平台大模型部署。
案例判断参考
天才da熊猫的案例列表
vllm、mnn推理框架部署优化
熟悉常用的推理框架，如vLLM、MNN等，并基于开源框架结合业务需求进行定制化优化，如投机解码、结构化输出等常用优化手段。能够结合CUDA、OpenCL、ARM CPU等平台进行算子优化。熟悉MTK NPU、高通NPU等平台大模型部署。...
高通NPU大模型部署
熟悉常用的推理框架，如vLLM、MNN等，并基于开源框架结合业务需求进行定制化优化，如投机解码、结构化输出等常用优化手段。能够结合CUDA、OpenCL、ARM CPU等平台进行算子优化。熟悉MTK NPU、高通NPU等平台大模型部署。...
mnn推理框架部署优化
熟悉常用的推理框架，如vLLM、MNN等，并基于开源框架结合业务需求进行定制化优化，如投机解码、结构化输出等常用优化手段。能够结合CUDA、OpenCL、ARM CPU等平台进行算子优化。熟悉MTK NPU、高通NPU等平台大模型部署。...
