Update app.py

app.py

@@ -33,32 +33,27 @@ except ImportError as e:
     print(f"שגיאה ביבוא הספריות: {str(e)}")
     sys.exit(1)
 
-# רשימת מודלים תומכי עברית או רב-לשוניים קטנים עם המלצות להגדרות
+# רשימת מודלים Qwen3-Coder
 MODELS = {
-    "facebook/opt-125m": "מודל קטן (125M) כללי - מהיר",
-    "onlplab/alephbert-base": "מודל BERT בעברית - מתאים להשלמת מילים",
-    "avichr/heBERT": "מודל BERT עברי נוסף - מתאים להשלמת מילים",
-    "google/mt5-small": "מודל T5 רב-לשוני תומך עברית - מתאים לתרגום ושאלות",
-    "xlm-roberta-base": "מודל רב-לשוני תומך עברית - מתאים להשלמת מילים",
-    "google/flan-t5-small": "מודל הנחיות קטן תומך במגוון שפות - טוב לשאלות ותשובות",
-    "distilgpt2": "מודל GPT-2 קטן ומהיר - טוב ליצירת טקסט"
+    "Qwen/Qwen1.5-0.5B-Chat": "מודל Qwen קטן - תומך בעברית ומתאים לשיחה ותכנות",
+    "Qwen/Qwen1.5-1.8B-Chat": "מודל Qwen בינוני - תומך בשפות רבות כולל עברית",
+    "Qwen/Qwen1.5-4B-Chat": "מודל Qwen חזק יותר - תומך בשפות רבות וקידוד",
+    "Qwen/Qwen1.5-7B-Chat": "מודל Qwen חזק מאוד - מתאים לשיחה ותכנות מתקדמת",
+    "Qwen/Qwen1.5-7B-Coder": "מודל Qwen3-Coder - משופר לתכנות ומשימות קוד"
 }
 
 # מילון הגדרות אופטימליות לפי סוגי מודלים
 MODEL_CONFIGS = {
-    "bert": {  # להשלמת מסכות
-        "top_k": 5
-    },
-    "t5": {   # למודלי T5 ו-MT5
-        "max_length": 150, 
+    "qwen": {  # למודלי Qwen
+        "max_new_tokens": 512,
         "do_sample": True,
-        "temperature": 0.6,
-        "top_p": 0.92,
-        "repetition_penalty": 1.2,
-        "num_beams": 4
+        "temperature": 0.7,
+        "top_p": 0.95,
+        "repetition_penalty": 1.05,
+        "no_repeat_ngram_size": 3
     },
-    "default": {  # למודלי OPT, GPT וכו'
-        "max_new_tokens": 150,
+    "default": {  # למודלים אחרים
+        "max_new_tokens": 256,
         "do_sample": True,
         "temperature": 0.7,
         "top_p": 0.92,
@@ -76,7 +71,7 @@ else:
     print("אזהרה: טוקן HF_TOKEN לא מוגדר בסביבת העבודה. ייתכן שלא תהיה גישה למודלים מוגבלים.")
 
 # הגדרת משתנים גלובליים
-default_model_name = "facebook/opt-125m"
+default_model_name = "Qwen/Qwen1.5-7B-Coder"
 current_model_name = default_model_name
 generator = None
 
@@ -106,33 +101,13 @@ def load_model(model_name, status_box=None):
         status_box = gr.Markdown(f"טוען את המודל: {model_name}...")
 
     try:
-        # בדיקה אם מדובר במודל מסוג BERT שאינו מתאים לחיזוי טקסט
-        is_bert_model = "bert" in model_name.lower() and "bart" not in model_name.lower()
-        
-        if is_bert_model:
-            # BERT מודלים מתאימים יותר למשימות אחרות, אבל ננסה להפעיל אותם עם masked fill
-            generator = transformers.pipeline(
-                "fill-mask",
-                model=model_name,
-                device_map="auto",
-                torch_dtype="auto"
-            )
-        elif "t5" in model_name.lower() or "mt5" in model_name.lower() or "flan-t5" in model_name.lower():
-            # מודלי T5 מתאימים לטקסט-לטקסט
-            generator = transformers.pipeline(
-                "text2text-generation",
-                model=model_name,
-                device_map="auto",
-                torch_dtype="auto"
-            )
-        else:
-            # מודלים רגילים ליצירת טקסט
-            generator = transformers.pipeline(
-                "text-generation",
-                model=model_name,
-                device_map="auto",
-                torch_dtype="auto"
-            )
+        # Qwen מודלים מתאימים לצ'אט
+        generator = transformers.pipeline(
+            "text-generation",
+            model=model_name,
+            device_map="auto",
+            torch_dtype="auto"
+        )
         
         if status_box is not None:
             status_box = gr.Markdown(f"**המודל {model_name} נטען בהצלחה!**")
@@ -159,53 +134,29 @@ def ask_model(prompt):
         return "המודל לא נטען בהצלחה. נסה לטעון מודל תחילה."
     
     try:
-        if "bert" in current_model_name.lower() and "bart" not in current_model_name.lower():
-            # טיפול במודלי BERT (fill-mask)
-            # נוסיף מסכה [MASK] לסוף הטקסט
-            if "[MASK]" not in prompt:
-                prompt = prompt + " [MASK]"
-            outputs = generator(prompt, top_k=5)
-            return "\n".join([f"{item['token_str']} (ודאות: {item['score']:.4f})" for item in outputs])
-            
-        elif "t5" in current_model_name.lower() or "mt5" in current_model_name.lower() or "flan-t5" in current_model_name.lower():
-            # טיפול במודלי T5
-            outputs = generator(
-                prompt,
-                max_length=150,         # אורך תוצאה מקסימלי
-                do_sample=True,         # דגימה אקראית במקום greedy
-                temperature=0.6,        # טמפרטורה נמוכה יותר לתשובות יותר מדויקות
-                top_p=0.92,             # נוקליוס דגימה - שומר על מגוון תשובות
-                repetition_penalty=1.2, # מונע חזרות
-                num_beams=4             # חיפוש קרן לתוצאות איכותיות יותר
-            )
-            if isinstance(outputs, list) and len(outputs) > 0:
-                return outputs[0]["generated_text"]
-            else:
-                return str(outputs)
+        # טיפול במודלי Qwen
+        outputs = generator(
+            prompt,
+            max_new_tokens=512,      # אורך תוצאה מקסימלי - הגדלנו עבור Qwen
+            do_sample=True,          # דגימה אקראית במקום greedy
+            temperature=0.7,         # איזון בין דיוק ויצירתיות
+            top_p=0.95,              # נוקליוס דגימה - שומר על מגוון תשובות
+            repetition_penalty=1.05, # מונע חזרות
+            no_repeat_ngram_size=3,  # מניעת חזרה על ביגרמות (זוגות מילים)
+            return_full_text=False   # מחזיר רק את הטקסט החדש שנוצר
+        )
+        
+        # מחזיר את הטקסט שנוצר
+        if isinstance(outputs, list) and len(outputs) > 0:
+            return outputs[0]["generated_text"]
         else:
-            # טיפול במודלים רגילים (OPT, GPT)
-            outputs = generator(
-                prompt,
-                max_new_tokens=150,      # אורך תוצאה מקסימלי
-                do_sample=True,          # דגימה אקראית במקום greedy
-                temperature=0.7,         # איזון בין דיוק ויצירתיות
-                top_p=0.92,              # נוקליוס דגימה - שומר על מגוון תשובות
-                repetition_penalty=1.1,  # מונע חזרות
-                no_repeat_ngram_size=2,  # מניעת חזרה על ביגרמות (זוגות מילים)
-                return_full_text=False   # מחזיר רק את הטקסט החדש שנוצר
-            )
-            
-            # מחזיר את הטקסט שנוצר
-            if isinstance(outputs, list) and len(outputs) > 0:
-                return outputs[0]["generated_text"]
-            else:
-                return str(outputs)
+            return str(outputs)
     except Exception as e:
         return f"שגיאה בהפעלת המודל: {str(e)}"
 
 # יצירת ממשק משתמש
 with gr.Blocks() as demo:
-    gr.Markdown("# מערכת צ'אט עם מודלים בעברית")
+    gr.Markdown("# מערכת צ'אט עם מודלי Qwen3-Coder")
     
     # אזור בחירת מודל וטעינה
     with gr.Row():
@@ -263,9 +214,9 @@ with gr.Blocks() as demo:
             "ספר לי על בינה מלאכותית",
             "מה דעתך על השפה העברית?",
             "כתוב סיפור קצר על ירושלים",
-            "מהם היתרונות של למידת מכונה?",
-            "תרגם את המשפט הזה לאנגלית: שלום, מה שלומך היום?",
-            "השלם את המשפט: ירושלים היא [MASK]"
+            "כתוב לי קוד בפייתון שמחשב את מספרי פיבונאצ'י",
+            "כתוב לי קוד ב-JavaScript שיוצר אפליקציית רשימת משימות",
+            "הסבר לי על מערכות מבוססות טרנספורמרים"
         ],
         input_text
     )
@@ -273,8 +224,8 @@ with gr.Blocks() as demo:
     gr.Markdown("""
     ### הערות:
     - בחר מודל מהרשימה ולחץ על 'טען מודל' כדי להחליף את המודל הנוכחי
-    - המודלים מסוג BERT (כמו AlephBERT ו-heBERT) מתאימים להשלמת מילים ולא לשיחה מלאה
-    - המודלים מסוג T5 ו-OPT טובים יותר לשיחה ויצירת תוכן
+    - מודלי Qwen מתאימים במיוחד לצ'אט ותכנות
+    - מומלץ להתחיל עם המודל הקטן יותר (0.5B) ולהשתמש במודלים הגדולים יותר רק עבור משימות מורכבות
     - הטעינה הראשונית של כל מודל עשויה לקחת מספר שניות עד דקות
     """)