本地 AI 推理框架（SD+LLM）

猿急送>杭州兼职程序员>2321259139147_20141525_126>

案例列表

基本信息

案例ID：245454

技术顾问：2321259139147_20141525_126 - 1年经验 - 个人开发者

联系沟通

微信扫码，建群沟通

项目名称：本地 AI 推理框架（SD+LLM）

所属行业：人工智能 - 其他

->查看更多案例

案例介绍

本地 AI 推理框架，独立开发的桌面端 AI 工具。集成 Stable Diffusion 图像生成与大语言模型对话两大核心功能，纯 Python 实现，可在普通笔记本上离线运行。

主要功能：

图像生成模块——支持 SD1.5 / SDXL 模型加载，可切换 LoRA 风格和 VAE，提供提示词输入、参数调节（步数、采样器、尺寸等），一键生成并预览图片。
LLM 对话模块——支持 llama.cpp（GGUF 格式）与 HuggingFace transformers 双后端切换，可本地运行开源大模型进行多轮对话，支持流式输出与参数微调。
HTTP API 服务——内置轻量 Web API，局域网内可通过手机浏览器远程调用图像生成与对话功能。
技术亮点：采用多进程 worker 架构，推理任务在独立子进程中执行；通过 stdin/stdout JSON 协议实现进程间通信；针对低显存设备实现 CPU 降级推理方案；解决了跨进程中文编码乱码、国内网络环境下模型离线加载等实际问题。

技术栈：Python / tkinter / http.server / multiprocessing / Pillow / llama.cpp
个人角色：独立开发，负责全部架构设计、前后端开发及调试部署。