README.md

---
language:
  - zh
license: apache-2.0
base_model: Qwen/Qwen3.5-2B
datasets:
  - XuehangCang/MicroMajor-AIAppTech
tags:
  - sft
  - lora
  - qwen
  - education
  - ai-application
  - chinese
  - causal-lm
pipeline_tag: text-generation
---



`MicroMajor-2B-AIAppTech` 是针对**人工智能应用技术**微专业方向打造的垂直领域小模型

以 [Qwen/Qwen3.5-2B](https://huggingface.co/Qwen/Qwen3.5-2B) 为基座，使用专属课程 Q&A 数据集 [XuehangCang/MicroMajor-AIAppTech](https://huggingface.co/datasets/XuehangCang/MicroMajor-AIAppTech) 进行有监督微调，覆盖课程如下：

| 序号 | 课程名称 |
|:---:|---------|
| 1 | 人工智能概述 |
| 2 | Python 程序设计实践 |
| 3 | 机器学习基础 |
| 4 | 自然语言处理应用与实践 |
| 5 | 人工智能实践 |

---

## 评测结果

评测方法：25 道专业题（5 课程 × 5 题），与基座模型 Qwen3.5-2B 进行对比
评分规则：关键词命中率得分（0–6 分）+ 回答完整性得分（0–4 分）= 综合得分（0–10 分）


### 各课程均分对比

| 课程 | MicroMajor-2B-AIAppTech | Qwen3.5-2B | 提升幅度 |
|------|:-----------------------:|:------------------:|:--------:|
| 人工智能概述 | **8.40** | 7.52 | +0.88 |
| Python程序设计实践 | **8.63** | 7.77 | +0.86 |
| 机器学习基础 | **9.14** | 8.46 | +0.68 |
| 自然语言处理应用与实践 | **8.48** | 7.99 | +0.49 |
| 人工智能实践 | **8.63** | 7.60 | +1.03 |
| **全科综合** | **8.66** | **7.87** | **+0.79** |

### 多维度对比

| 维度 | MicroMajor-2B-AIAppTech | Qwen3.5-2B |
|------|:-----------------------:|:------------------:|
| 关键词均分（/6） | **4.66** | 3.87 |
| 完整性均分（/4） | 4.00 | 4.00 |
| 综合均分（/10） | **8.66** | 7.87 |
| 平均回答字符数 | 836 字 | 830 字 |
| 平均推理耗时 | 11.2 秒 | 11.3 秒 |


---

## 模型信息

| 属性 | 详情 |
|------|------|
| 基座模型 | Qwen/Qwen3.5-2B |
| 模型架构 | Qwen3_5ForCausalLM |
| 参数量 | ~2B |
| 隐藏层维度 | 2048 |
| Transformer 层数 | 24 |
| 注意力头数 | 8（KV 头数：2） |
| 最大上下文长度 | 262,144 tokens |
| 推理精度 | bfloat16 |
| 语言 | 中文为主 |

---

## 训练详情

### 数据集

- **数据集**：[XuehangCang/MicroMajor-AIAppTech](https://huggingface.co/datasets/XuehangCang/MicroMajor-AIAppTech)
- **格式**：`question` / `thinking` / `answer` 三字段，助手回复使用 `<think>…</think>` 包裹推理链，后接最终答案（Chain-of-Thought 风格）

### 微调方法

- **方法**：LoRA SFT
- **框架**：🤗 Transformers + TRL + PEFT

### 超参数配置

| 超参数 | 值 |
|-------|----|
| 微调方法 | LoRA |
| LoRA Rank (r) | 16 |
| LoRA Alpha | 32 |
| LoRA Dropout | 0.05 |
| LoRA 目标模块 | all-linear（q/k/v/o_proj、gate/up/down_proj 等全部线性层） |
| 训练轮次 | 3 epochs |
| 单卡 Batch Size | 2 |
| 梯度累积步数 | 8（等效全局 batch = 16） |
| 学习率 | 2e-4 |
| 学习率调度 | Cosine |
| Warmup 比例 | 5% |
| 权重衰减 | 0.01 |
| 优化器 | AdamW Fused |
| 训练精度 | bfloat16 |
| 最大序列长度 | 2048 tokens |
| 梯度检查点 | ✅ 开启 |

---

## 快速开始

### 环境依赖

```bash
pip install transformers>=4.51.0 torch accelerate
```

### 推理示例

```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "XuehangCang/MicroMajor-2B-AIAppTech"

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
model.eval()

question = "请简述 Transformer 架构中 Self-Attention 的计算过程。"
messages = [{"role": "user", "content": question}]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

with torch.no_grad():
    output_ids = model.generate(
        **inputs,
        max_new_tokens=512,
        temperature=0.7,
        top_p=0.9,
        do_sample=True,
        pad_token_id=tokenizer.eos_token_id,
    )

new_ids = output_ids[0][inputs["input_ids"].shape[-1]:]
print(tokenizer.decode(new_ids, skip_special_tokens=True))
```

### 使用 pipeline

```python
from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="XuehangCang/MicroMajor-2B-AIAppTech",
    torch_dtype="bfloat16",
    device_map="auto",
)

messages = [{"role": "user", "content": "什么是 RAG？它在 AI 应用中有什么作用？"}]
result = pipe(messages, max_new_tokens=512, temperature=0.7)
print(result[0]["generated_text"][-1]["content"])
```

---

## 适用场景

- 🎓 **AI 专业课程辅助**：为学生提供人工智能应用技术各科目的问答辅导
- 📚 **智能题库与练习**：生成专业习题解析、概念解释
- 🤖 **课程智能助手**：集成至教学平台，回答学生关于课程知识点的问题
- 🔬 **垂直领域研究**：作为教育领域小模型微调方法的参考实现

---

## 局限性

- 本模型专注于**人工智能应用技术**垂直领域，通用知识覆盖相对有限
- 评测基于关键词匹配与字符数统计，建议结合人工评估使用
- 参数量为 2B，复杂推理任务建议配合 Chain-of-Thought 提示词
- 模型回答可能存在幻觉，请结合教材内容进行核实

---


## 引用

如果本模型对您的研究或教学有所帮助，欢迎引用：

```bibtex
@misc{MicroMajor-2B-AIAppTech,
  author       = {XuehangCang},
  title        = {MicroMajor-2B-AIAppTech: A Domain-Specific LLM for AI Application Technology Education},
  year         = {2026},
  publisher    = {Hugging Face},
  url          = {https://huggingface.co/XuehangCang/MicroMajor-2B-AIAppTech}
}
```

---

## 许可证

本模型基于 Qwen3.5-2B 微调，遵循 [Apache 2.0 License](https://www.apache.org/licenses/LICENSE-2.0)