Update README.md

README.md

@@ -1,69 +1,20 @@
----
-title: chinese-alpaca-plus-7b
-emoji: 📚
-colorFrom: gray
-colorTo: red
-language: 
-- zh
-tags:
-- chatglm
-- pytorch
-- zh
-- Text2Text-Generation
-license: "other"
-widget:
-- text: "为什么天空是蓝色的？"
----
 
-# Chinese Alpaca Plus 7B Model
 
-**发布中文LLaMA, Alpaca Plus版（7B）模型**
+# TransGPT
 
-
-推出中文LLaMA, Alpaca Plus版（7B），相比基础版本的改进点如下：
-
-- 进一步扩充了训练数据，其中LLaMA扩充至120G文本（通用领域），Alpaca扩充至4M指令数据（重点增加了STEM相关数据）
-- Alpaca训练时采用了更大的rank，相比原版具有更低的验证集损失
-- 评测结果显示，Alpaca-Plus-7B相比基础版Alpaca-7B效果更优，部分任务接近或超过13B版本
-- 这一轮比拼：7B获得65.3分，13B获得70.9分，Plus-7B效果75.3分，具体评测结果请参考[效果评测](https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/examples/README.md)
-
-本模型是`原生LLaMA-7B`合并`中文LLaMA LoRA`和`中文Alpaca LoRA`后的模型权重`chinese-alpaca-plus-7b-hf`，并转化为HuggingFace版本权重（.bin文件），可以直接使用或者继续训练。
-
-13b-hf权重链接：https://huggingface.co/shibing624/chinese-alpaca-plus-13b-hf
+**发布中文TransGPT（7B）模型**
 
 test case:
 
 |input_text|predict|
 |:-- |:--- |
-|为什么天空是蓝色的？|天空是蓝色的，是因为大气层中的气体分子会散射太阳光中的蓝色光，使得我们看到的天空是蓝色的。|
+|我想了解如何申请和更新驾驶证？|xx|
 
 
-## release model weight
 
-- chinese-llama-plus-7b 模型权重链接：https://huggingface.co/minlik/chinese-llama-plus-7b-merged
-- chinese-alpaca-plus-7b 模型权重链接：https://huggingface.co/shibing624/chinese-alpaca-plus-7b-hf
-- chinese-llama-plus-13b 模型权重链接：https://huggingface.co/shibing624/chinese-llama-plus-13b-hf
-- chinese-aplaca-plus-13b 模型权重链接：https://huggingface.co/shibing624/chinese-alpaca-plus-13b-hf
 
 ## Usage
 
-本项目开源在textgen项目：[textgen](https://github.com/shibing624/textgen)，可支持llama模型，通过如下命令调用：
-
-Install package:
-```shell
-pip install -U textgen
-```
-
-```python
-from textgen import LlamaModel
-model = LlamaModel("llama", "shibing624/chinese-alpaca-plus-7b-hf")
-r = model.predict(["用一句话描述地球为什么是独一无二的。"])
-print(r) # ['地球是独一无二的，因为它拥有独特的大气层、水循环、生物多样性以及其他自然资源，这些都使它成为一个独特的生命支持系统。']
-```
-
-## Usage (HuggingFace Transformers)
-Without [textgen](https://github.com/shibing624/textgen), you can use the model like this: 
-
 First, you pass your input through the transformer model, then you get the generated sentence.
 
 Install package:
@@ -85,12 +36,12 @@ def generate_prompt(text):
 
 ### Response:"""
 
-
-tokenizer = LlamaTokenizer.from_pretrained('shibing624/chinese-alpaca-plus-7b-hf')
-model = LlamaForCausalLM.from_pretrained('shibing624/chinese-alpaca-plus-7b-hf').half().cuda()
+checkpoint="DUOMO-Lab/TransGPT-v0"
+tokenizer = LlamaTokenizer.from_pretrained(checkpoint)
+model = LlamaForCausalLM.from_pretrained(checkpoint).half().cuda()
 model.eval()
 
-text = '为什么天空是蓝色的？'
+text = '我想了解如何申请和更新驾驶证？'
 prompt = generate_prompt(text)
 input_ids = tokenizer.encode(prompt, return_tensors='pt').to('cuda')
 
@@ -98,9 +49,9 @@ input_ids = tokenizer.encode(prompt, return_tensors='pt').to('cuda')
 with torch.no_grad():
     output_ids = model.generate(
         input_ids=input_ids,
-        max_new_tokens=128,
+        max_new_tokens=1024,
         temperature=1,
-        top_k=40,
+        top_k=20,
         top_p=0.9,
         repetition_penalty=1.15
     ).cuda()
@@ -111,16 +62,12 @@ print(output.replace(text, '').strip())
 
 output:
 ```shell
-为什么天空是蓝色的？
-天空是蓝色的，是因为大气层中的气体分子会散射太阳光中的蓝色光，使得我们看到的天空是蓝色的。
+我想了解如何申请和更新驾驶证？
+
 ```
 
 ## 模型来源
-release合并后的模型权重，一步到位直接使用，省电、减少碳排放。
-
-基于 [多LoRA权重合并（适用于Chinese-Alpaca-Plus ）](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/%E6%89%8B%E5%8A%A8%E6%A8%A1%E5%9E%8B%E5%90%88%E5%B9%B6%E4%B8%8E%E8%BD%AC%E6%8D%A2#%E5%A4%9Alora%E6%9D%83%E9%87%8D%E5%90%88%E5%B9%B6%E9%80%82%E7%94%A8%E4%BA%8Echinese-alpaca-plus-)方法手动合并而成，具体是使用 [decapoda-research/llama-7b-hf](https://huggingface.co/decapoda-research/llama-7b-hf) 
-底座模型 合并 Chinese-LLaMA-Plus-LoRA和Chinese-Alpaca-Plus-LoRA 两个LoRA权重 得到，并转化为HuggingFace版本权重（.bin文件）。
-
+release合并后的模型权重。
 
 HuggingFace版本权重（.bin文件）可用于：
 - 使用Transformers进行训练和推理
@@ -129,12 +76,11 @@ HuggingFace版本权重（.bin文件）可用于：
 PyTorch版本权重（.pth文件）可用于：
 - 使用llama.cpp工具进行量化和部署
 
-PyTorch版本权重（.pth文件）链接，8-bit量化版的Alpaca-Plus-7B：[Billsfriend/chinese-Alpaca-7b-plus-ggml-q8_0](https://huggingface.co/Billsfriend/chinese-Alpaca-7b-plus-ggml-q8_0/tree/main)
 
 
 模型文件组成：
 ```
-chinese-alpaca-plus-7b-hf
+TransGPT
     config.json
     generation_config.json
     pytorch_model-00001-of-00002.bin
@@ -150,8 +96,8 @@ chinese-alpaca-plus-7b-hf
 
 ### 微调数据集
 
-1. xx万条文本数据集（用于领域内预训练）：[DUOMO-Lab/TransGPT-pt](https://huggingface.co/datasets/DUOMO-Lab/TransGPT-pt)
-2. 
+1. ～xx万条文本数据集（用于领域内预训练）：[DUOMO-Lab/TransGPT-pt](https://huggingface.co/datasets/DUOMO-Lab/TransGPT-pt)
+2. ～5.6万条对话数据（用于微调）:[finetune_data](https://huggingface.co/data/finetune)
 
 
 如果需要训练LLaMA模型，请参考[https://github.com/DUOMO/TransGPT](https://github.com/DUOMO/TransGPT)