Create README.md

README.md

@@ -0,0 +1,44 @@
+---
+license: apache-2.0
+pipeline_tag: text-generation
+---
+
+# BiLLa: A Bilingual LLaMA with Enhanced Reasoning Ability 
+
+BiLLa是开源的推理能力增强的中英双语LLaMA模型。模型的主要特性有：
+- 较大提升LLaMA的中文理解能力，并尽可能减少对原始LLaMA英文能力的损伤；
+- 训练过程增加较多的任务型数据，利用ChatGPT生成解析，强化模型理解任务求解逻辑；
+- 全量参数更新，追求更好的生成效果。
+
+Github: https://github.com/Neutralzz/BiLLa
+
+<b>注意</b>：因为LLaMA的License限制，本项目开放的模型权重并不能直接使用。开放的模型权重中`word embedding`的权重为训练后模型的权重和原始LLaMA权重的和，从而保证拥有LLaMA原始模型授权的开发者可以将本项目发布的模型转化成可以使用的格式。
+
+拥有LLaMA原始模型的开发者可以通过本项目Github中的脚本`embedding_convert.py`完成BiLLa模型权重的还原，以下为示例：
+```shell
+python3 embedding_convert.py \
+    --model_dir /path_to_BiLLa/BiLLa-7B-SFT \
+    --meta_llama_pth_file /path_to_LLaMA/llama-7b/consolidated.00.pth
+```
+
+模型权重还原后，可通过以下代码调试运行：
+```python
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+model_path = "/path_to_billa"
+tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False)
+model = AutoModelForCausalLM.from_pretrained(model_path, low_cpu_mem_usage=True, torch_dtype=torch.float16).cuda()
+
+prompt = "Human: 用Python写一个冒泡排序算法\nAssistant: "
+input_ids = tokenizer([prompt]).input_ids
+output_ids = model.generate(
+            torch.as_tensor(input_ids).cuda(),
+            do_sample=True,
+            temperature=0.7,
+            max_new_tokens=1024
+        )
+output_ids = output_ids[0][len(input_ids[0]):]
+
+outputs = tokenizer.decode(output_ids, skip_special_tokens=True).strip()
+print(outputs)
+```