好.浩-h
Agent 应用开发工程师
华为 · 1年经验
日薪：
￥500/8h
地点：
北京 海淀
时间：
下班后周六周日
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
我是一名专注于大模型推理加速与高性能系统开发的软件工程师，具备从算法推理优化到工程落地部署的完整实践经验。
在大模型相关方向，我主要聚焦于推理性能优化、显存与KV Cache管理、量化部署（INT4/INT8）、多卡并行（Tensor Parallel / Pipeline Parallel）以及推理框架定制开发（如 vLLM 等）。同时对 CUDA Kernel 优化、算子融合、以及 CPU/SSD/GPU 多级 Offloading 架构有较深入的工程实践。
在系统开发方面，具备分布式系统设计与实现能力，熟悉高并发服务架构、API服务设计、任务调度系统以及多Agent协作框架构建，可支持从原型设计到生产级系统落地。
可提供的服务包括但不限于：
1. 大模型推理性能优化（延迟 / 吞吐 / 显存优化）
2. vLLM / Transformers / 自研推理框架定制与改造
3. 模型量化与部署方案设计
4. CUDA / PyTorch 自定义算子开发与优化
5. 多机多卡分布式推理系统设计
6. LLM 应用系统（Agent / 工作流 / RAG）开发
在大模型相关方向，我主要聚焦于推理性能优化、显存与KV Cache管理、量化部署（INT4/INT8）、多卡并行（Tensor Parallel / Pipeline Parallel）以及推理框架定制开发（如 vLLM 等）。同时对 CUDA Kernel 优化、算子融合、以及 CPU/SSD/GPU 多级 Offloading 架构有较深入的工程实践。
在系统开发方面，具备分布式系统设计与实现能力，熟悉高并发服务架构、API服务设计、任务调度系统以及多Agent协作框架构建，可支持从原型设计到生产级系统落地。
可提供的服务包括但不限于：
1. 大模型推理性能优化（延迟 / 吞吐 / 显存优化）
2. vLLM / Transformers / 自研推理框架定制与改造
3. 模型量化与部署方案设计
4. CUDA / PyTorch 自定义算子开发与优化
5. 多机多卡分布式推理系统设计
6. LLM 应用系统（Agent / 工作流 / RAG）开发
项目经验
1. 大模型推理加速与服务化系统
负责设计与优化大模型在线推理服务架构，重点解决高并发与长上下文场景下的性能瓶颈问题。
基于 vLLM / 自研推理框架进行二次开发与性能优化
优化 KV Cache 管理机制，设计多级存储（GPU / CPU / SSD Offloading）策略
支持 INT4 / INT8 量化推理，提升显存利用率并降低延迟
2. KV Cache 与多级 Offloading 存储系统设计
围绕长上下文推理中的显存瓶颈，设计分层缓存与数据迁移机制。
设计 KV Cache 的 GPU/CPU/SSD 分层存储结构
实现基于 Chunk 的 KV 存储与索引机制（ACC 作为全局索引层）
支持按需加载与淘汰策略，优化内存使用效率
3. 自定义 CUDA / PyTorch 推理算子开发
针对推理关键路径进行底层算子优化与融合开发，减少 kernel launch overhead。
使用 torch.library / custom op 构建高性能推理算子接口
支持 FP16 / INT8 / INT4 混合精度计算路径
4. 多 Agent 协作与 LLM 应用系统
构建基于大模型的任务分解与多角色协作系统。
设计 Product Manager / Executor / Tester 多 Agent 架构
实现任务拆解、执行、反馈闭环流程
支持工具调用（Tool Use）与外部系统集成
构建可扩展的工作流执行引擎
用于自动化代码生成、测试与优化流程
5. 高并发 LLM API 服务系统
构建面向生产环境的大模型推理 API 服务。
基于 FastAPI / 自研服务框架构建推理服务层
支持流式输出（Streaming Completion）
多模型动态加载与切换
负责设计与优化大模型在线推理服务架构，重点解决高并发与长上下文场景下的性能瓶颈问题。
基于 vLLM / 自研推理框架进行二次开发与性能优化
优化 KV Cache 管理机制，设计多级存储（GPU / CPU / SSD Offloading）策略
支持 INT4 / INT8 量化推理，提升显存利用率并降低延迟
2. KV Cache 与多级 Offloading 存储系统设计
围绕长上下文推理中的显存瓶颈，设计分层缓存与数据迁移机制。
设计 KV Cache 的 GPU/CPU/SSD 分层存储结构
实现基于 Chunk 的 KV 存储与索引机制（ACC 作为全局索引层）
支持按需加载与淘汰策略，优化内存使用效率
3. 自定义 CUDA / PyTorch 推理算子开发
针对推理关键路径进行底层算子优化与融合开发，减少 kernel launch overhead。
使用 torch.library / custom op 构建高性能推理算子接口
支持 FP16 / INT8 / INT4 混合精度计算路径
4. 多 Agent 协作与 LLM 应用系统
构建基于大模型的任务分解与多角色协作系统。
设计 Product Manager / Executor / Tester 多 Agent 架构
实现任务拆解、执行、反馈闭环流程
支持工具调用（Tool Use）与外部系统集成
构建可扩展的工作流执行引擎
用于自动化代码生成、测试与优化流程
5. 高并发 LLM API 服务系统
构建面向生产环境的大模型推理 API 服务。
基于 FastAPI / 自研服务框架构建推理服务层
支持流式输出（Streaming Completion）
多模型动态加载与切换
好.浩-h
Agent 应用开发工程师 · 1年经验 · 华为
0
累计接单
0
用户评价
0
被收藏
信用行为
0
接单数
0
评价数
0
收藏数
技术能力
我是一名专注于大模型推理加速与高性能系统开发的软件工程师，具备从算法推理优化到工程落地部署的完整实践经验。
在大模型相关方向，我主要聚焦于推理性能优化、显存与KV Cache管理、量化部署（INT4/INT8）、多卡并行（Tensor Parallel / Pipeline Parallel）以及推理框架定制开发（如 vLLM 等）。同时对 CUDA Kernel 优化、算子融合、以及 CPU/SSD/GPU 多级 Offloading 架构有较深入的工程实践。
在系统开发方面，具备分布式系统设计与实现能力，熟悉高并发服务架构、API服务设计、任务调度系统以及多Agent协作框架构建，可支持从原型设计到生产级系统落地。
可提供的服务包括但不限于：
1. 大模型推理性能优化（延迟 / 吞吐 / 显存优化）
2. vLLM / Transformers / 自研推理框架定制与改造
3. 模型量化与部署方案设计
4. CUDA / PyTorch 自定义算子开发与优化
5. 多机多卡分布式推理系统设计
6. LLM 应用系统（Agent / 工作流 / RAG）开发
在大模型相关方向，我主要聚焦于推理性能优化、显存与KV Cache管理、量化部署（INT4/INT8）、多卡并行（Tensor Parallel / Pipeline Parallel）以及推理框架定制开发（如 vLLM 等）。同时对 CUDA Kernel 优化、算子融合、以及 CPU/SSD/GPU 多级 Offloading 架构有较深入的工程实践。
在系统开发方面，具备分布式系统设计与实现能力，熟悉高并发服务架构、API服务设计、任务调度系统以及多Agent协作框架构建，可支持从原型设计到生产级系统落地。
可提供的服务包括但不限于：
1. 大模型推理性能优化（延迟 / 吞吐 / 显存优化）
2. vLLM / Transformers / 自研推理框架定制与改造
3. 模型量化与部署方案设计
4. CUDA / PyTorch 自定义算子开发与优化
5. 多机多卡分布式推理系统设计
6. LLM 应用系统（Agent / 工作流 / RAG）开发
项目经验
1. 大模型推理加速与服务化系统
负责设计与优化大模型在线推理服务架构，重点解决高并发与长上下文场景下的性能瓶颈问题。
基于 vLLM / 自研推理框架进行二次开发与性能优化
优化 KV Cache 管理机制，设计多级存储（GPU / CPU / SSD Offloading）策略
支持 INT4 / INT8 量化推理，提升显存利用率并降低延迟
2. KV Cache 与多级 Offloading 存储系统设计
围绕长上下文推理中的显存瓶颈，设计分层缓存与数据迁移机制。
设计 KV Cache 的 GPU/CPU/SSD 分层存储结构
实现基于 Chunk 的 KV 存储与索引机制（ACC 作为全局索引层）
支持按需加载与淘汰策略，优化内存使用效率
3. 自定义 CUDA / PyTorch 推理算子开发
针对推理关键路径进行底层算子优化与融合开发，减少 kernel launch overhead。
使用 torch.library / custom op 构建高性能推理算子接口
支持 FP16 / INT8 / INT4 混合精度计算路径
4. 多 Agent 协作与 LLM 应用系统
构建基于大模型的任务分解与多角色协作系统。
设计 Product Manager / Executor / Tester 多 Agent 架构
实现任务拆解、执行、反馈闭环流程
支持工具调用（Tool Use）与外部系统集成
构建可扩展的工作流执行引擎
用于自动化代码生成、测试与优化流程
5. 高并发 LLM API 服务系统
构建面向生产环境的大模型推理 API 服务。
基于 FastAPI / 自研服务框架构建推理服务层
支持流式输出（Streaming Completion）
多模型动态加载与切换
负责设计与优化大模型在线推理服务架构，重点解决高并发与长上下文场景下的性能瓶颈问题。
基于 vLLM / 自研推理框架进行二次开发与性能优化
优化 KV Cache 管理机制，设计多级存储（GPU / CPU / SSD Offloading）策略
支持 INT4 / INT8 量化推理，提升显存利用率并降低延迟
2. KV Cache 与多级 Offloading 存储系统设计
围绕长上下文推理中的显存瓶颈，设计分层缓存与数据迁移机制。
设计 KV Cache 的 GPU/CPU/SSD 分层存储结构
实现基于 Chunk 的 KV 存储与索引机制（ACC 作为全局索引层）
支持按需加载与淘汰策略，优化内存使用效率
3. 自定义 CUDA / PyTorch 推理算子开发
针对推理关键路径进行底层算子优化与融合开发，减少 kernel launch overhead。
使用 torch.library / custom op 构建高性能推理算子接口
支持 FP16 / INT8 / INT4 混合精度计算路径
4. 多 Agent 协作与 LLM 应用系统
构建基于大模型的任务分解与多角色协作系统。
设计 Product Manager / Executor / Tester 多 Agent 架构
实现任务拆解、执行、反馈闭环流程
支持工具调用（Tool Use）与外部系统集成
构建可扩展的工作流执行引擎
用于自动化代码生成、测试与优化流程
5. 高并发 LLM API 服务系统
构建面向生产环境的大模型推理 API 服务。
基于 FastAPI / 自研服务框架构建推理服务层
支持流式输出（Streaming Completion）
多模型动态加载与切换
立即沟通
