本地 AI 推理框架(SD+LLM)

人工智能 其他 案例ID:245453
2321259139147_20141525_126
4 年经验· 个人开发者
微信扫码沟通,客服可协助直接对接工程师;如当前档期不合,也可继续推荐相似案例作者。

案例介绍

本地 AI 推理框架,独立开发的桌面端 AI 工具。集成 Stable Diffusion 图像生成与大语言模型对话两大核心功能,纯 Python 实现,可在普通笔记本上离线运行。

主要功能:

图像生成模块——支持 SD1.5 / SDXL 模型加载,可切换 LoRA 风格和 VAE,提供提示词输入、参数调节(步数、采样器、尺寸等),一键生成并预览图片。
LLM 对话模块——支持 llama.cpp(GGUF 格式)与 HuggingFace transformers 双后端切换,可本地运行开源大模型进行多轮对话,支持流式输出与参数微调。
HTTP API 服务——内置轻量 Web API,局域网内可通过手机浏览器远程调用图像生成与对话功能。
技术亮点:采用多进程 worker 架构,推理任务在独立子进程中执行;通过 stdin/stdout JSON 协议实现进程间通信;针对低显存设备实现 CPU 降级推理方案;解决了跨进程中文编码乱码、国内网络环境下模型离线加载等实际问题。

技术栈:Python / tkinter / http.server / multiprocessing / Pillow / llama.cpp
个人角色:独立开发,负责全部架构设计、前后端开发及调试部署。

本地 AI 推理框架(SD+LLM)

人工智能 · 其他 案例ID:245453
联系该工程师
微信扫码,建群沟通
作者: 2321259139147_20141525_126 - 4年经验- 个人开发者

案例介绍

本地 AI 推理框架,独立开发的桌面端 AI 工具。集成 Stable Diffusion 图像生成与大语言模型对话两大核心功能,纯 Python 实现,可在普通笔记本上离线运行。

主要功能:

图像生成模块——支持 SD1.5 / SDXL 模型加载,可切换 LoRA 风格和 VAE,提供提示词输入、参数调节(步数、采样器、尺寸等),一键生成并预览图片。
LLM 对话模块——支持 llama.cpp(GGUF 格式)与 HuggingFace transformers 双后端切换,可本地运行开源大模型进行多轮对话,支持流式输出与参数微调。
HTTP API 服务——内置轻量 Web API,局域网内可通过手机浏览器远程调用图像生成与对话功能。
技术亮点:采用多进程 worker 架构,推理任务在独立子进程中执行;通过 stdin/stdout JSON 协议实现进程间通信;针对低显存设备实现 CPU 降级推理方案;解决了跨进程中文编码乱码、国内网络环境下模型离线加载等实际问题。

技术栈:Python / tkinter / http.server / multiprocessing / Pillow / llama.cpp
个人角色:独立开发,负责全部架构设计、前后端开发及调试部署。

相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在 1 小时内与您联系确认。

1小时精推人才

需求方专属客服,免费梳理匹配

需求方客服微信二维码
扫码加微信 · 客服人工对接
更多案例
微信沟通 客服 看中这位工程师了?客服帮你 1 小时对接沟通 → ×