test deepseek

app.py

@@ -45,10 +45,38 @@ def respond(
     print("\n")
     yield response #chat reply
 
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
+def deepseek(
+            message, 
+            history: list[tuple[str, str]], 
+            system_message, 
+            max_tokens, 
+            temperature, 
+            top_p, 
+            image_uploaded,
+            file_uploaded):
+    model_name = "deepseek-ai/deepseek-math-7b-instruct"
+    tokenizer = AutoTokenizer.from_pretrained(model_name)
+    model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
+    model.generation_config = GenerationConfig.from_pretrained(model_name)
+    model.generation_config.pad_token_id = model.generation_config.eos_token_id
+    
+    messages = [
+        {"role": "user", "content": "what is the integral of x^2 from 0 to 2?\nPlease reason step by step, and put your final answer within \\boxed{}."}
+    ]
+    input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
+    outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100)
+    print(outputs)
+    print("\n")
+    result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
+    print(result)
+    return result
+
 chat = gr.ChatInterface(
-    respond, #chat
-    # title="Trợ lý Học Tập AI",
-    # description="Nhập câu hỏi của bạn về Toán, Lý, Hóa, Văn… và nhận giải đáp chi tiết ngay lập tức!",
+    deepseek, #chat
+    title="Trợ lý Học Tập AI",
+    description="Nhập câu hỏi của bạn về Toán, Lý, Hóa, Văn… và nhận giải đáp chi tiết ngay lập tức!",
     additional_inputs=[
         gr.Textbox("Bạn là một chatbot tiếng Việt thân thiện.", label="System message"),
         gr.Slider(1, 2048, value=200, step=1, label="Max new tokens"),
@@ -57,12 +85,6 @@ chat = gr.ChatInterface(
         # gr.Image(type="pil", label="Attach an image (optional)"),
         # gr.File(label="Upload a file (optional)"),
     ],
-    examples=[
-        # Mỗi item: [message, system_message, max_tokens, temperature, top_p]
-        "Xin chào!",
-        "Tóm tắt đoạn văn sau…",
-        "Viết thơ 4 câu về hoa sen",
-    ],    
 )
 
 if __name__ == "__main__":

requirements.txt

@@ -1,2 +1,4 @@
 gradio
-openai
+openai
+torch
+transformers