Update README.md
Browse files
README.md
CHANGED
|
@@ -3,4 +3,11 @@ license: apache-2.0
|
|
| 3 |
language:
|
| 4 |
- zh
|
| 5 |
- en
|
| 6 |
-
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 3 |
language:
|
| 4 |
- zh
|
| 5 |
- en
|
| 6 |
+
---
|
| 7 |
+
- 使用chatglm.cpp这个工具来进行模型量化，它是基于GGML库实现的量化工具，除了可以量化 ChatGLM 系列的 LLM 外，还支持其他比如 BaiChuan、CodeGeeX、InternLM 等 LLM 的量化。
|
| 8 |
+
chatglm.cpp 除了提供量化功能外，还提供了多种运行量化模型的方式，包括源码编译运行、Python 代码运行、 Web 服务和 API 服务等，这些运行方式可以让我们在不同的场景下使用量化后的模型。
|
| 9 |
+
- 基础模型：chatglm3-6b
|
| 10 |
+
- 使用q4_0这个量化类型来进行量化，其他的量化类型可以参考 chatglm.cpp 的文档。
|
| 11 |
+
```
|
| 12 |
+
python chatglm.cpp/chatglm_cpp/convert.py -i ./chatglm3-6b -t q4_0 -o chatglm-ggml.bin
|
| 13 |
+
```
|