Shawnno/qwen2.5-3b-interview-sft-lora

Qwen2.5-3B-Instruct 面试助手 LoRA

基于 Qwen/Qwen2.5-3B-Instruct 用 3230 条面试问答数据做 QLoRA SFT 微调的 LoRA adapter。

目标风格：简洁、专业、口语化——像求职者现场口头作答，先给概念定义，再说现象，最后点本质；避免 AI 腔和模板词。

使用方法

需要先安装 transformers 和 peft，然后配合基座模型加载：

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = "Qwen/Qwen2.5-3B-Instruct"
adapter = "Shawnno/qwen2.5-3b-interview-sft-lora"  # 本仓库

tokenizer = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(model, adapter)

prompt = "请解释机器学习中的偏差和方差，它们分别过高时通常会出现什么现象？"
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

或者用 LLaMA-Factory 加载：

model_name_or_path: Qwen/Qwen2.5-3B-Instruct
adapter_name_or_path: Shawnno/qwen2.5-3b-interview-sft-lora
template: qwen
infer_backend: huggingface

训练详情

• 基座模型: Qwen/Qwen2.5-3B-Instruct
• 方法: QLoRA（4bit 量化 + LoRA）
• 数据: 3230 条中英文面试问答（算法 / 后端 / 前端 / 数据分析 / 产品 / 行为面试等岗位）
• LoRA 参数: rank=8, alpha=16, target=all
• 训练参数: lr=2e-4, cosine 调度, 3 epochs, 有效 batch=8, cutoff=1024
• 硬件: NVIDIA RTX 4060 (8GB), 训练耗时约 2 小时
• 最终 loss: 2.66 → 1.54

训练数据说明

数据覆盖多岗位面试题，包含 interview_intent（考察意图）和 expected_points（期望要点）作为回答指导。答案风格参考人工标注样本：先概念定义 → 现象展开 → 一句话点本质。

局限

• 3B 参数量，复杂长文回答能力有限
• 基于通用领域面试题，垂直岗位深度有限
• LoRA 增量权重，需配合基座模型使用