Update app.py

app.py

@@ -2,20 +2,14 @@ import gradio as gr
 import spaces
 import torch
 
-from transformers import (
-    AutoTokenizer,
-    AutoModelForCausalLM
-)
-
+from transformers import AutoTokenizer, AutoModelForCausalLM
 
 
-# =========================
-# MODEL
-# =========================
 
 MODEL_ID = "ddfws/Rezaeian-StatsAI"
 
 
+
 print("Loading tokenizer...")
 
 
@@ -30,13 +24,19 @@ print("Loading model...")
 
 
 model = AutoModelForCausalLM.from_pretrained(
+
     MODEL_ID,
+
     device_map="auto",
+
     dtype=torch.float16,
+
     trust_remote_code=True
+
 )
 
 
+
 model.eval()
 
 
@@ -44,105 +44,60 @@ print("MODEL READY")
 
 
 
-# =========================
-# PROMPT
-# =========================
-
 
 SYSTEM_PROMPT = """
 
-تو Rezaeian-StatsAI هستی.
-
-یک استاد تمام دانشگاه تهران در درس آمار و احتمال مهندسی.
+تو یک استاد دانشگاه تهران در درس آمار و احتمال مهندسی هستی.
 
-وظیفه تو آموزش کامل دانشجوی کارشناسی مهندسی است.
+برای دانشجوی کارشناسی مهندسی پاسخ بده.
 
-
-قوانین پاسخ:
+قوانین:
 
 - پاسخ کوتاه نده.
-- مانند استاد دانشگاه توضیح بده.
-- تمام مراحل حل را بنویس.
-- هیچ فرمولی حذف نشود.
-
+- مانند جزوه دانشگاهی توضیح بده.
+- مراحل حل را کامل بنویس.
+- فرمول‌ها را با LaTeX بنویس.
+- مثال مشابه ارائه کن.
+- نکات امتحانی را بگو.
 
-ساختار پاسخ:
 
+ساختار:
 
 1- تشخیص موضوع
 
 2- توضیح مفهوم
 
-3- روش حل
-
-4- فرمول‌های لازم
-
-5- حل مرحله به مرحله
-
-6- مثال مشابه مهندسی
+3- فرمول‌ها
 
-7- نکات امتحانی
+4- حل مرحله به مرحله
 
-8- نتیجه نهایی
+5- مثال مشابه
 
+6- نتیجه نهایی
 
-موضوعات:
 
-احتمال
-
-قوانین احتمال
+مباحث:
 
+Probability
 Bayes
-
 Random Variable
-
 Binomial
-
 Poisson
-
 Normal
-
 Exponential
-
-Gamma
-
 Expectation
-
 Variance
-
-Covariance
-
-Sampling
-
-CLT
-
 Confidence Interval
-
 Hypothesis Testing
-
 Regression
-
 ANOVA
-
 Reliability
 
 
-فرمول‌ها را با LaTeX بنویس.
-
-متغیرهای ریاضی:
-
-X Y μ σ P E Var
-
-انگلیسی بمانند.
-
 """
 
 
 
-# =========================
-# GENERATE
-# =========================
-
 
 @spaces.GPU
 def generate(message, history):
@@ -159,37 +114,30 @@ def generate(message, history):
 
 
 
-    for user, assistant in history[-5:]:
-
+    for user, assistant in history[-4:]:
 
         messages.append(
-
             {
                 "role":"user",
                 "content":user
             }
-
         )
 
 
         messages.append(
-
             {
                 "role":"assistant",
                 "content":assistant
             }
-
         )
 
 
 
     messages.append(
-
         {
             "role":"user",
             "content":message
         }
-
     )
 
 
@@ -214,7 +162,7 @@ def generate(message, history):
 
         truncation=True,
 
-        max_length=8192
+        max_length=4096
 
     )
 
@@ -232,24 +180,19 @@ def generate(message, history):
 
     with torch.no_grad():
 
-
         output = model.generate(
 
             **inputs,
 
-            max_new_tokens=4096,
-
-            min_new_tokens=700,
+            max_new_tokens=2048,
 
-            temperature=0.25,
+            temperature=0.3,
 
             top_p=0.9,
 
             do_sample=True,
 
-            repetition_penalty=1.1,
-
-            pad_token_id=tokenizer.eos_token_id
+            repetition_penalty=1.1
 
         )
 
@@ -257,11 +200,7 @@ def generate(message, history):
 
     answer = tokenizer.decode(
 
-        output[0][
-
-            inputs["input_ids"].shape[-1]:
-
-        ],
+        output[0][inputs["input_ids"].shape[-1]:],
 
         skip_special_tokens=True
 
@@ -273,10 +212,6 @@ def generate(message, history):
 
 
 
-# =========================
-# CHAT
-# =========================
-
 
 def chat(message, history):
 
@@ -305,10 +240,6 @@ def chat(message, history):
 
 
 
-# =========================
-# STYLE
-# =========================
-
 
 css = """
 
@@ -321,15 +252,6 @@ max-width:1400px!important;
 }
 
 
-#chatbox{
-
-height:900px!important;
-
-overflow-y:auto!important;
-
-}
-
-
 
 .message{
 
@@ -339,39 +261,26 @@ text-align:right!important;
 
 font-size:18px!important;
 
-line-height:2.2!important;
+line-height:2!important;
 
 white-space:pre-wrap!important;
 
 }
 
 
-
 textarea{
 
 direction:rtl!important;
 
 text-align:right!important;
 
-font-size:18px!important;
-
 }
 
 
-
-footer{
-
-display:none!important;
-
-}
-
 """
 
 
 
-# =========================
-# UI
-# =========================
 
 
 with gr.Blocks(css=css) as demo:
@@ -381,16 +290,9 @@ with gr.Blocks(css=css) as demo:
 """
 # 🤖 Rezaeian StatsAI
 
-دستیار هوشمند آمار و احتمال مهندسی
-
-حل مسائل به ��بک استاد دانشگاه تهران
-
-✔ توضیح کامل  
-✔ فرمول  
-✔ حل مرحله‌ای  
-✔ مثال مشابه  
-✔ نکات امتحانی
+دستیار آمار و احتمال مهندسی
 
+حل تشریحی به سبک استاد دانشگاه
 """
 )
 
@@ -398,9 +300,7 @@ with gr.Blocks(css=css) as demo:
 
     chatbot = gr.Chatbot(
 
-        height=900,
-
-        elem_id="chatbox"
+        height=900
 
     )
 
@@ -408,16 +308,10 @@ with gr.Blocks(css=css) as demo:
 
     textbox = gr.Textbox(
 
-        placeholder="سؤال آمار و احتمال خود را وارد کنید",
-
-        lines=4
-
-    )
-
+        lines=3,
 
+        placeholder="سوال خود را وارد کنید..."
 
-    clear = gr.Button(
-        "🗑 پاک کردن گفتگو"
     )
 
 
@@ -446,22 +340,6 @@ with gr.Blocks(css=css) as demo:
 
 
 
-    clear.click(
-
-        lambda: [],
-
-        None,
-
-        chatbot
-
-    )
-
-
-
-# =========================
-# RUN
-# =========================
-
 
 demo.launch(