README.md

metadata

inference:
  parameters:
    max_length: 250
    temperature: 0.7
    top_p: 1
widget: null
language:
  - en
  - zh

ChatYuan-7B是一个支持中英双语的功能型对话语言大模型。它是基于LLama-7B模型上继续进行三阶段训练的模型。 三阶段如下：

1. 在中文通用语料上继续预训练500亿中文token
2. 在数百种任务集上进行任务式指令微调训练
3. 在人类反馈数据集上进行指令微调训练

更多细节参考GitHub

使用方式

为了遵守LLaMA模型许可证，我们将ChatYuan-7B权重发布为增量权重。您可以将我们的增量权重与原始的LLaMA权重相加，得到ChatYuan-7B权重。

1. 通过原始LLaMA-7B生成LLaMA的hf模型(LLaMA-7B-HF)，可以参考指导
2. 合并LLaMA-7B的hf模型和ChatYuan-7B模型

合并脚本

python3 apply_delta.py --base ~/model_weights/LLaMA-7B-HF --delta ~/model_weights/ChatYuan-7B --target ~/model_weights/ChatYuan-7B-merge

加载方式

from transformers import LlamaForCausalLM, AutoTokenizer
import torch
import sys
ckpt = "~/model_weights/ChatYuan-7B-merge"
device = torch.device('cuda')
model = LlamaForCausalLM.from_pretrained(ckpt)
tokenizer = AutoTokenizer.from_pretrained(ckpt)

推理方式

prompt = "用户:  \n小元: "
input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
generate_ids = model.generate(input_ids, max_new_tokens=1024, do_sample = True, temperature = 0.7)
output = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
response = output[len(prompt):]
print(response)