独立完成本地大语言模型部署与推理服务开发,基于 Qwen3.5-9B 和 GGUF Q8_0 量化模型,结合 llama.cpp 与 NVIDIA CUDA,实现本地大模型推理服务的部署和运行。 项目完成模型加载、GPU 全层卸载、上下文配置、推理服务启动及健康检查,并提供本地 Web 聊天交互界面,支持通过 API 接口调用模型。 在 RTX 5070 Ti 16GB 环境下,完成 33/33 层 GPU 卸载验证,支持 8192 上下文配置,并完成文本推理和视觉输入测试。 本人独立负责模型选型、运行环境搭建、模型部署、GPU 推理优化、服务接口配置及功能测试。
图片介绍是AI辅助生成,真实场景不便拍摄。这是一个面向书房场景的智能家居视觉系统,基于摄像头、AI 场景识别和设备联动能力,实现对用户活动状态的感知与自动控制。 系统能够识别电脑使用、阅读等典型书房活动,并根据识别结果自动控制智能灯光,形成从视觉感知、状态判断到设备执行的完整闭环。 项目采用 Python 进行系统开发,结合图像采集、模型推理、本地连续性判断和 MQTT 消息通信,实现书房场景下的智能化联动控制。 本人独立负责系统架构设计、核心模块开发、模型集成、设备通信及系统测试,具备从需求分析到软件实现和联调验证的完整开发能力。
独立完成本地大语言模型部署与推理服务开发,基于 Qwen3.5-9B 和 GGUF Q8_0 量化模型,结合 llama.cpp 与 NVIDIA CUDA,实现本地大模型推理服务的部署和运行。 项目完成模型加载、GPU 全层卸载、上下文配置、推理服务启动及健康检查,并提供本地 Web 聊天交互界面,支持通过 API 接口调用模型。 在 RTX 5070 Ti 16GB 环境下,完成 33/33 层 GPU 卸载验证,支持 8192 上下文配置,并完成文本推理和视觉输入测试。 本人独立负责模型选型、运行环境搭建、模型部署、GPU 推理优化、服务接口配置及功能测试。...
图片介绍是AI辅助生成,真实场景不便拍摄。这是一个面向书房场景的智能家居视觉系统,基于摄像头、AI 场景识别和设备联动能力,实现对用户活动状态的感知与自动控制。 系统能够识别电脑使用、阅读等典型书房活动,并根据识别结果自动控制智能灯光,形成从视觉感知、状态判断到设备执行的完整闭环。 项目采用 Python 进行系统开发,结合图像采集、模型推理、本地连续性判断和 MQTT 消息通信,实现书房场景下的智能化联动控制。 本人独立负责系统架构设计、核心模块开发、模型集成、设备通信及系统测试,具备从需求分析到软件实现和联调验证的完整开发能力。...
添加客服微信,免费为您安排与该工程师直接沟通
长按二维码添加客服微信
如该工程师当前档期不合,也可免费为您推荐相似候选人