MicroMajor-2B-AIAppTech 是针对人工智能应用技术微专业方向打造的垂直领域小模型

以 Qwen/Qwen3.5-2B 为基座，使用专属课程 Q&A 数据集 XuehangCang/MicroMajor-AIAppTech 进行有监督微调，覆盖课程如下：

序号	课程名称
1	人工智能概述
2	Python 程序设计实践
3	机器学习基础
4	自然语言处理应用与实践
5	人工智能实践

评测结果

评测方法：25 道专业题（5 课程 × 5 题），与基座模型 Qwen3.5-2B 进行对比评分规则：关键词命中率得分（0–6 分）+ 回答完整性得分（0–4 分）= 综合得分（0–10 分）

各课程均分对比

课程	MicroMajor-2B-AIAppTech	Qwen3.5-2B	提升幅度
人工智能概述	8.40	7.52	+0.88
Python程序设计实践	8.63	7.77	+0.86
机器学习基础	9.14	8.46	+0.68
自然语言处理应用与实践	8.48	7.99	+0.49
人工智能实践	8.63	7.60	+1.03
全科综合	8.66	7.87	+0.79

多维度对比

维度	MicroMajor-2B-AIAppTech	Qwen3.5-2B
关键词均分（/6）	4.66	3.87
完整性均分（/4）	4.00	4.00
综合均分（/10）	8.66	7.87
平均回答字符数	836 字	830 字
平均推理耗时	11.2 秒	11.3 秒

模型信息

属性	详情
基座模型	Qwen/Qwen3.5-2B
模型架构	Qwen3_5ForCausalLM
参数量	~2B
隐藏层维度	2048
Transformer 层数	24
注意力头数	8（KV 头数：2）
最大上下文长度	262,144 tokens
推理精度	bfloat16
语言	中文为主

训练详情

数据集

数据集：XuehangCang/MicroMajor-AIAppTech
格式：question / thinking / answer 三字段，助手回复使用 <think>…</think> 包裹推理链，后接最终答案（Chain-of-Thought 风格）

微调方法

方法：LoRA SFT
框架：🤗 Transformers + TRL + PEFT

超参数配置

超参数	值
微调方法	LoRA
LoRA Rank (r)	16
LoRA Alpha	32
LoRA Dropout	0.05
LoRA 目标模块	all-linear（q/k/v/o_proj、gate/up/down_proj 等全部线性层）
训练轮次	3 epochs
单卡 Batch Size	2
梯度累积步数	8（等效全局 batch = 16）
学习率	2e-4
学习率调度	Cosine
Warmup 比例	5%
权重衰减	0.01
优化器	AdamW Fused
训练精度	bfloat16
最大序列长度	2048 tokens
梯度检查点	✅ 开启

快速开始

环境依赖

pip install transformers>=4.51.0 torch accelerate

推理示例

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "XuehangCang/MicroMajor-2B-AIAppTech"

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
model.eval()

question = "请简述 Transformer 架构中 Self-Attention 的计算过程。"
messages = [{"role": "user", "content": question}]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

with torch.no_grad():
    output_ids = model.generate(
        **inputs,
        max_new_tokens=512,
        temperature=0.7,
        top_p=0.9,
        do_sample=True,
        pad_token_id=tokenizer.eos_token_id,
    )

new_ids = output_ids[0][inputs["input_ids"].shape[-1]:]
print(tokenizer.decode(new_ids, skip_special_tokens=True))

使用 pipeline

from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="XuehangCang/MicroMajor-2B-AIAppTech",
    torch_dtype="bfloat16",
    device_map="auto",
)

messages = [{"role": "user", "content": "什么是 RAG？它在 AI 应用中有什么作用？"}]
result = pipe(messages, max_new_tokens=512, temperature=0.7)
print(result[0]["generated_text"][-1]["content"])

适用场景

🎓 AI 专业课程辅助：为学生提供人工智能应用技术各科目的问答辅导
📚 智能题库与练习：生成专业习题解析、概念解释
🤖 课程智能助手：集成至教学平台，回答学生关于课程知识点的问题
🔬 垂直领域研究：作为教育领域小模型微调方法的参考实现

局限性

本模型专注于人工智能应用技术垂直领域，通用知识覆盖相对有限
评测基于关键词匹配与字符数统计，建议结合人工评估使用
参数量为 2B，复杂推理任务建议配合 Chain-of-Thought 提示词
模型回答可能存在幻觉，请结合教材内容进行核实

引用

如果本模型对您的研究或教学有所帮助，欢迎引用：

@misc{MicroMajor-2B-AIAppTech,
  author       = {XuehangCang},
  title        = {MicroMajor-2B-AIAppTech: A Domain-Specific LLM for AI Application Technology Education},
  year         = {2026},
  publisher    = {Hugging Face},
  url          = {https://huggingface.co/XuehangCang/MicroMajor-2B-AIAppTech}
}