Update README.md
Browse files
README.md
CHANGED
|
@@ -1,4 +1,9 @@
|
|
| 1 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 2 |
ChatYuan-7B是一个支持中英双语的功能型对话语言大模型。它是基于LLama-7B模型上继续进行三阶段训练的模型。
|
| 3 |
三阶段如下：
|
| 4 |
1. 在中文通用语料上继续预训练500亿中文token
|
|
@@ -42,3 +47,14 @@ print(response)
|
|
| 42 |
```
|
| 43 |
|
| 44 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
language:
|
| 3 |
+
- en
|
| 4 |
+
- zh
|
| 5 |
+
license: gpl-3.0
|
| 6 |
+
---
|
| 7 |
ChatYuan-7B是一个支持中英双语的功能型对话语言大模型。它是基于LLama-7B模型上继续进行三阶段训练的模型。
|
| 8 |
三阶段如下：
|
| 9 |
1. 在中文通用语料上继续预训练500亿中文token
|
|
|
|
| 47 |
```
|
| 48 |
|
| 49 |
|
| 50 |
+
## 限制
|
| 51 |
+
|
| 52 |
+
在当前基础模型和数据训练的模型中仍存在一些问题：
|
| 53 |
+
|
| 54 |
+
1. 当要求遵循与事实相关的指令时，模型可能会生成事实错误。
|
| 55 |
+
|
| 56 |
+
2. 由于模型仍然难以识别潜在的有害指令，偶尔会生成有害的回应。
|
| 57 |
+
|
| 58 |
+
3. 在推理和编码方面仍然需要改进
|
| 59 |
+
|
| 60 |
+
由于模型仍然存在限制，我们要求开发者只能将开源代码、数据、模型以及通过该项目生成的其他任何成果用于研究目的。不允许商业用途和其他潜在有害的使用场景。
|