Update README.md
Browse files
README.md
CHANGED
|
@@ -34,6 +34,10 @@ tags:
|
|
| 34 |
|
| 35 |
特别地,模型在“大模型讨论机制”方面进行了优化。该机制的具体运作方式如下:模型在回答每个问题时,会基于不同的上下文生成多个结果,模拟“多人发表观点”的场景。系统还设有“主持人”角色,负责总结各轮讨论的观点。随后,所有参与者根据原始问题、主持人的总结以及各自的上下文,进行下一轮讨论。此过程循环往复,直至讨论结果收敛(语义趋于一致)或达到预设的最大讨论轮数。
|
| 36 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 37 |
### 🚀 使用示例
|
| 38 |
|
| 39 |
基于通义千问`Qwen2.5-3B-Instruct`,可直接通过`transformers`库快速加载启动。
|
|
@@ -92,7 +96,7 @@ if __name__ == "__main__":
|
|
| 92 |
|
| 93 |
```python
|
| 94 |
if __name__ == "__main__":
|
| 95 |
-
model_name = "
|
| 96 |
discuss_rounds = 3
|
| 97 |
agent_number = 3
|
| 98 |
model, tokenizer = load_model_and_tokenizer(model_name)
|
|
|
|
| 34 |
|
| 35 |
特别地,模型在“大模型讨论机制”方面进行了优化。该机制的具体运作方式如下:模型在回答每个问题时,会基于不同的上下文生成多个结果,模拟“多人发表观点”的场景。系统还设有“主持人”角色,负责总结各轮讨论的观点。随后,所有参与者根据原始问题、主持人的总结以及各自的上下文,进行下一轮讨论。此过程循环往复,直至讨论结果收敛(语义趋于一致)或达到预设的最大讨论轮数。
|
| 36 |
|
| 37 |
+
### 🔧 硬件条件
|
| 38 |
+
|
| 39 |
+
若使用GPU推理,则至少需要`7GB`显存。若显存容量不足7GB或无独立显卡,使用`CPU` + `7GB RAM`内存也可以运行MKTY-3B大模型。
|
| 40 |
+
|
| 41 |
### 🚀 使用示例
|
| 42 |
|
| 43 |
基于通义千问`Qwen2.5-3B-Instruct`,可直接通过`transformers`库快速加载启动。
|
|
|
|
| 96 |
|
| 97 |
```python
|
| 98 |
if __name__ == "__main__":
|
| 99 |
+
model_name = "MKTY-3B"
|
| 100 |
discuss_rounds = 3
|
| 101 |
agent_number = 3
|
| 102 |
model, tokenizer = load_model_and_tokenizer(model_name)
|