Update README.md
Browse files
README.md
CHANGED
|
@@ -81,7 +81,7 @@ We used the Huatuo26M-Lite dataset, which contains 178k pieces of medical questi
|
|
| 81 |
|
| 82 |
也许和模型本身的能力有关,经过微调的模型经常给出灾难性的答案...
|
| 83 |
|
| 84 |
-
|
| 85 |
|
| 86 |
因此,我个人建议使用**快速开始 - GGUF**中的方法在LM Studio中运行模型。
|
| 87 |
|
|
@@ -127,7 +127,7 @@ chat_test(test_prompts)
|
|
| 127 |
```
|
| 128 |
|
| 129 |
## 快速开始 - GGUF
|
| 130 |
-
我更推荐下载LoRA-Huatuo-7b-GGUF-Q4
|
| 131 |
然后把这个gguf文件加载到LM Studio中本地运行,会更方便
|
| 132 |
推荐配合使用以下的system prompt:
|
| 133 |
```
|
|
|
|
| 81 |
|
| 82 |
也许和模型本身的能力有关,经过微调的模型经常给出灾难性的答案...
|
| 83 |
|
| 84 |
+
我们尝试过的最稳定的模型是量化后的**q4-gguf**模型,在LM Studio中运行并配合合理的system prompt,可以初步满足我们的要求。
|
| 85 |
|
| 86 |
因此,我个人建议使用**快速开始 - GGUF**中的方法在LM Studio中运行模型。
|
| 87 |
|
|
|
|
| 127 |
```
|
| 128 |
|
| 129 |
## 快速开始 - GGUF
|
| 130 |
+
我更推荐下载LoRA-Huatuo-7b-GGUF-Q4文件夹中的**merged_model-q4.gguf**
|
| 131 |
然后把这个gguf文件加载到LM Studio中本地运行,会更方便
|
| 132 |
推荐配合使用以下的system prompt:
|
| 133 |
```
|