| --- | |
| license: apache-2.0 | |
| language: Chinese | |
| Usage：把files and versions里的chatglm-lora.pt下载到本地，然后依次按下面的操作 | |
| # 安装依赖 | |
| pip install protobuf==3.20.0 transformers==4.26.1 peft cpm_kernels icetk -q | |
| # 导入库 | |
| from transformers import AutoTokenizer,AutoModel | |
| import torch | |
| from peft import get_peft_model, LoraConfig, TaskType | |
| # 加载模型 | |
| model = AutoModel.from_pretrained( | |
| "yuanzhoulvpi/chatglm6b-dddd", trust_remote_code=True).half().cuda() | |
| peft_config = LoraConfig( | |
| task_type=TaskType.CAUSAL_LM, | |
| inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1, | |
| target_modules=['query_key_value',], | |
| ) | |
| model = get_peft_model(model, peft_config) | |
| # 在这里加载lora模型，注意修改chekpoint | |
| peft_path = "home/checkpoint-800/chatglm-lora.pt" | |
| model.load_state_dict(torch.load(peft_path), strict=False) | |
| model.eval() | |
| # 构建tokenizer | |
| tokenizer = AutoTokenizer.from_pretrained("yuanzhoulvpi/chatglm6b-dddd", trust_remote_code=True) | |
| # 模型输出 | |
| text ="天空为什么是蓝色的？" | |
| with torch.autocast("cuda"): | |
| res, history = model.chat(tokenizer=tokenizer, query=text,max_length=300) | |
| print(res) | |
| 天空看起来蓝色是由于大气散射的结果。当太阳光线穿过大气层时,会被大气分子散射。这些分子包括氧、氮和碳氢化合物,它们吸收较短波长的光,如红色和橙色,而较长波长的光,如蓝色和紫色,则被散射得更多。 | |
| 因此,当太阳光线照射到大气层时,较短波长的光线,如红色和橙色,被散射得更多,我们看到的天空呈现出蓝色。 | |
| 天空的蓝色是由于大气散射的结果。当太阳光线穿过大气层时,会被大气分子散射。这些分子包括氧、氮和碳氢化合物,它们吸收较短波长的光,如红色和橙色,而较长波长的光,如蓝色和紫色,则被散射得更多。 | |
| 因此,当太阳光线照射到大气层时,较短波长的光线,如红色和橙色,被散射得更多,我们看到的天空呈现出蓝色。 | |
| # 如果用Gradio界面输出，可加下面语句 | |
| title = "Chat with ChatGLM" | |
| description = "Chat with ChatGLM, a Chinese pre-trained dialogue generation model." | |
| gr.Interface(fn=chat, | |
| inputs=gr.inputs.Textbox(lines=1, label="Your message:"), | |
| outputs=gr.outputs.Textbox(label="Response:"), | |
| title=title, | |
| description=description).launch(share=True) | |