主要合作内容 / 你将负责
为大语言模型和其他推理负载建立可重复的性能基准
分析端到端延迟、首个 token 延迟、生成速度、吞吐、显存占用、GPU 利用率和单位推理成本
优化 batching、KV cache、量化、并行策略、模型加载和运行时参数
使用性能分析工具定位 GPU、CPU、显存、内存、通信和数据传输瓶颈
评估并调优 vLLM、TensorRT-LLM、Triton 等推理运行时
根据模型、硬件和业务负载制定可复现的性能配置与容量建议
验证优化前后的输出正确性、数值精度和服务稳定性
建立性能回归测试、基准数据和优化结果记录，防止版本升级造成性能退化
记录适用条件、参数、限制和回退方式，使优化结果能够安全复用
与后端工程师协作，将优化后的模型服务接入生产请求链路
我们希望你具备
硕士及以上学历，计算机相关专业，毕业于双一流高校
具有三年以上机器学习系统、模型推理优化或 GPU 性能工程经验
有生产环境模型推理性能分析和优化经验
熟悉 Python、PyTorch，以及至少一种主流模型推理运行时
理解 Transformer 推理、attention、KV cache、batching、量化和多 GPU 并行的性能影响
能使用 profiling 与监控工具定位计算、显存、内存、通信和 I/O 瓶颈
能设计可重复的 benchmark 和性能回归测试，并用数据说明优化收益与取舍
能验证优化后的输出正确性、数值精度和稳定性