LLM 小参数模型微调与部署
—— 基于 HX-100 的 QLoRA 实践

一、项目概述与目标

本项目在局域网主机 HX-100（Ubuntu，RTX 3080 Ti 16GB 显存）上，以 /data/nvme2t/workspace/LLM-WS 为根目录，搭建了一套完整的小参数大模型微调工作区，覆盖「数据集下载 → 开源模型下载 → QLoRA 微调 → 效果对比评估 → OpenAI 兼容 API 部署」全链路。

二、数据集介绍

微调效果的上限由数据决定。本项目选用 COIG-CQIA 作为统一中文指令微调数据集。

2.1 COIG-CQIA 数据集

2.2 数据加工流程

• 下载：经 hf-mirror.com 镜像拉取原始数据集（47 个文件）到 datasets/raw/coig-cqia；
• 解析归一：遍历各子集，将不同字段结构统一映射为 Alpaca 格式（{instruction, input, output}）；
• 质量过滤：剔除空答案、过短指令（<5 字）、答案过短（<20 字）或过长（>1200 字）的样本，保证训练信噪比；
• 结果：共解析出 58,754 条有效样本，随机打乱（seed=42）后切分：
  • datasets/processed/sft_train.json —— 1500 条训练集
  • datasets/processed/sft_test.json —— 200 条留出测试集

三、训练模型介绍

选取 6 个参数量 ≤4B 的开源模型，覆盖不同厂商、不同架构与不同训练定位，便于横向对比微调适配性。

四、微调过程详细介绍

4.1 技术路线：为什么是 QLoRA

16GB 显存无法承载全参数微调（7B 全参需 40–60GB）。采用 QLoRA：将冻结的基座权重量化为 4bit NF4 加载，仅训练注入的 LoRA 低秩适配器（约占总参数 1–2%），显存需求下降约 4 倍，是单卡微调的现实最优解。配套使用 Unsloth 框架（手写 CUDA kernel，官方宣称 2× 提速、省 70% 显存）。

4.2 环境栈

4.3 统一微调超参数

训练数据经各模型 chat_template 渲染为「user→assistant」对话格式，仅对回答部分计算 loss。

4.4 微调结果汇总

五、微调效果对比（前后对照）

用同一批提示词、同样的解码参数，分别调用基座模型与微调模型，从「指令遵循、简洁度、能力保持」三维度对比。以下为 Qwen2.5-3B 实测。

对比结论

六、验收与部署详细介绍

6.1 权重合并

为便于独立部署（不再依赖基座路径 + adapter），将 LoRA adapter 合并进基座，导出独立 fp16 模型：

# scripts/merge.py 核心步骤
model, tok = FastLanguageModel.from_pretrained(repo, load_in_4bit=True)
model = PeftModel.from_pretrained(model, "runs/qwen25-3b")
model = model.merge_and_unload()          # LoRA 权重并入基座
model.save_pretrained(out, safe_serialization=True)
# 产物：models_merged/qwen25-3b （2.3GB，独立可用）

6.2 OpenAI 兼容 API 服务

采用 FastAPI + Transformers 自研轻量推理服务（无需 vLLM 重依赖），完整实现 OpenAI 协议：

6.3 服务信息

# Python 调用（OpenAI SDK）
from openai import OpenAI
client = OpenAI(base_url="http://${请替换为实际服务地址}:8000/v1", api_key="none")
r = client.chat.completions.create(model="qwen25-3b-sft",
    messages=[{"role":"user","content":"你的问题"}], max_tokens=512)
print(r.choices[0].message.content)

七、踩坑记录与经验总结

八、产物清单与后续规划

8.1 产物清单（HX-100 工作区）

8.2 后续规划

• 正式微调：基于最优的 Qwen2.5-3B，用全量数据 + 更多步数（500–1000 步）做正式版；
• 更大模型：显存余量充足，可上 Qwen2.5-7B / 14B QLoRA；
• 领域适配：接入自有业务数据（客服/工单/文档）做垂直领域微调；
• 服务化增强：API 加 systemd 开机自启、API Key 鉴权、多模型切换，或换 vLLM 提升并发吞吐。