Update README.md

README.md

@@ -1,3 +1,71 @@
 ---
 license: apache-2.0
 ---
+# CNTDAI-6B
+## Model Description
+CNTDAI-6B 是 Community AI Model Group 为了进行POC来微调出来的符合公司内部需求的一个实验行模型，基于GLM Transformer模型进行微调的中英文LLM.采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上进行优化.
+ 
+## Usage
+
+```python
+import os
+import platform
+import torch
+from transformers import AutoTokenizer, AutoModel
+
+
+model_path = "cntd\CNTDAI-6B"
+print("是否可用：", torch.cuda.is_available())        # 查看GPU是否可用
+print("GPU数量：", torch.cuda.device_count())        # 查看GPU数量
+print("torch方法查看CUDA版本：", torch.version.cuda)  # torch方法查看CUDA版本
+print("GPU索引号：", torch.cuda.current_device())    # 查看GPU索引号
+tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
+model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().cuda()
+model = model.eval()
+os_name = platform.system()
+clear_command = 'cls' if os_name == 'Windows' else 'clear'
+stop_stream = False
+
+
+def build_prompt(history):
+    prompt = "欢迎使用 CNTDAI-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序"
+    for query, response in history:
+        prompt += f"\n\n用户：{query}"
+        prompt += f"\n\nCNTDAI-6B：{response}"
+    return prompt
+
+
+
+
+def main():
+    past_key_values, history = None, []
+    global stop_stream
+    print("欢迎使用 CNTDAI-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序")
+    while True:
+        query = input("\n用户：")
+        if query.strip() == "stop":
+            break
+        if query.strip() == "clear":
+            past_key_values, history = None, []
+            os.system(clear_command)
+            print("欢迎使用 CNTDAI-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序")
+            continue
+        print("\nCNTDAI：", end="")
+        current_length = 0
+        for response, history, past_key_values in model.stream_chat(tokenizer, query, history=history,
+                                                                    past_key_values=past_key_values,
+                                                                    return_past_key_values=True):
+            if stop_stream:
+                stop_stream = False
+                break
+            else:
+                print(response[current_length:], end="", flush=True)
+                current_length = len(response)
+        print("")
+
+
+if __name__ == "__main__":
+    main()
+
+```
+