F

app.py

@@ -1,11 +1,8 @@
-import os
 from transformers import pipeline, TextIteratorStreamer
 from threading import Thread
 import gradio as gr
 import spaces
 import re
-from huggingface_hub import login
-import logging
 from openai_harmony import (
     load_harmony_encoding,
     HarmonyEncodingName,
@@ -17,29 +14,12 @@ from openai_harmony import (
     ReasoningEffort,
 )
 
-# Setup logging
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger(__name__)
-
-# Login to Hugging Face
-if os.getenv("HF_TOKEN"):
-    login(token=os.getenv("HF_TOKEN"))
-    logger.info("🔐 Logged in to Hugging Face")
-
 # regex config
 RE_REASONING = re.compile(r'(?i)Reasoning:\s*(low|medium|high)')
 RE_FINAL_MARKER = re.compile(r'(?i)assistantfinal')
 RE_ANALYSIS_PREFIX = re.compile(r'(?i)^analysis\s*')
 
-# Load System Prompt from file
-try:
-    with open("system_prompt.txt", "r", encoding="utf-8") as f:
-        DEFAULT_SYSTEM_PROMPT = f.read()
-except FileNotFoundError:
-    logger.warning("system_prompt.txt not found, using default prompt")
-    DEFAULT_SYSTEM_PROMPT = "You are a helpful assistant. Reasoning: medium"
-
-# Parse reasoning level from system prompt
+# I think for system prompt reasoning level OpenAI mentioned you should do parsing so here's
 def parse_reasoning_and_instructions(system_prompt: str):
     instructions = system_prompt or "You are a helpful assistant."
     match = RE_REASONING.search(instructions)
@@ -52,7 +32,7 @@ def parse_reasoning_and_instructions(system_prompt: str):
     cleaned_instructions = RE_REASONING.sub('', instructions).strip()
     return effort, cleaned_instructions
 
-model_id = "unsloth/gpt-oss-20b-unsloth-bnb-4bit"
+model_id = "openai/gpt-oss-20b"
 
 pipe = pipeline(
     "text-generation",
@@ -62,7 +42,6 @@ pipe = pipeline(
     trust_remote_code=True,
 )
 enc = load_harmony_encoding(HarmonyEncodingName.HARMONY_GPT_OSS)
-
 def format_conversation_history(chat_history):
     messages = []
     for item in chat_history:
@@ -70,7 +49,7 @@ def format_conversation_history(chat_history):
         content = item["content"]
         if isinstance(content, list):
             content = content[0]["text"] if content and "text" in content[0] else str(content)
-        messages.append({"role": "role", "content": content})
+        messages.append({"role": role, "content": content})
     return messages
 
 @spaces.GPU()
@@ -122,7 +101,7 @@ def generate_response(input_data, chat_history, max_new_tokens, system_prompt, t
             final += chunk
         clean_thinking = RE_ANALYSIS_PREFIX.sub('', thinking).strip()
         clean_final = final.strip()
-        formatted = f"<details open><summary>🧠 عرض عملية التفكير (Thinking Process)</summary>\n\n{clean_thinking}\n\n</details>\n\n{clean_final}"
+        formatted = f"<details open><summary>Click to view Thinking Process</summary>\n\n{clean_thinking}\n\n</details>\n\n{clean_final}"
         yield formatted
 
 demo = gr.ChatInterface(
@@ -131,9 +110,9 @@ demo = gr.ChatInterface(
         gr.Slider(label="Max new tokens", minimum=64, maximum=4096, step=1, value=2048),
         gr.Textbox(
             label="System Prompt",
-            value=DEFAULT_SYSTEM_PROMPT,
-            lines=6,
-            placeholder="يمكنك تعديل التعليمات والمستوى: Reasoning: low/medium/high"
+            value="You are a helpful assistant. Reasoning: medium",
+            lines=4,
+            placeholder="Change system prompt"
         ),
         gr.Slider(label="Temperature", minimum=0.1, maximum=2.0, step=0.1, value=0.7),
         gr.Slider(label="Top-p", minimum=0.05, maximum=1.0, step=0.05, value=0.9),
@@ -141,42 +120,24 @@ demo = gr.ChatInterface(
         gr.Slider(label="Repetition Penalty", minimum=1.0, maximum=2.0, step=0.05, value=1.0)
     ],
     examples=[
-        [{"text": "النت عندي بطيء جداً رغم باقة 100 ميجا. شرحلي الأسباب المحتملة والحلول خطوة بخطوة."}],
-        [{"text": "أريد فهم ليش النت بطيء. حللها بالتفصيل وأعطني حلول مرقمة."}],
-        [{"text": "كم سعر باقة 60 ميجا وما هي مزاياها بالمقارنة مع الباقات الأخرى؟"}],
-        [{"text": "جهازي يظهر متصل بس المواقع ما تفتح. ساعدني أشخيص المشكلة بالتفصيل."}],
-        [{"text": "أنا صاحب مؤسسة، أي باقة تناسب 10 موظفين؟ حلل الاحتياجات والتكلفة."}],
-        [{"text": "شلون اغير كلمة مرور الواي فاي خطوة بخطوة؟"}],
-        [{"text": "النت ينقطع فجأة ويعود. حلل السبب واعطني حل شامل."}],
+        [{"text": "Explain Newton laws clearly and concisely"}],
+        [{"text": "What are the benefits of open weight AI models"}],
+        [{"text": "Write a Python function to calculate the Fibonacci sequence"}],
+
     ],
     cache_examples=False,
     type="messages",
-    title="📞 مساعد GPT-OSS-20B للدعم الفني - NB TEL",
-    description="""**🤖 مساعد ذكي متقدم يعتمد على GPT-OSS-20B من OpenAI للدعم الفني بشبكة النور - NB TEL**
-
-✨ **قدرات متقدمة:**
-- 🧠 تفكير منطقي عميق (Chain-of-Thought)
-- 📊 حلول خطوة بخطوة مع التحليل
-- 🎯 مستويات تفكير قابلة للتعديل (Reasoning: low/medium/high)
-- 💬 دعم كامل للغة العربية العراقية
-- 🔧 تشخيص وحلول متقدمة للمشاكل التقنية
-
-**احجي معاه كأنك زبون:** اشرح مشكلتك، اسأل عن الباقات، او اطلب تذكرة دعم.
-
-*يمكنك رؤية عملية التفكير (Thinking Process) عند النقر على السهم أعلى الإجابة.*""",
+    description="""# gpt-oss-20b Demo
+Give it a couple of seconds to start. You can adjust reasoning level in the system prompt like "Reasoning: high." Click to view thinking process (default is on).""",
     fill_height=True,
     textbox=gr.Textbox(
-        label="رسالتك",
-        placeholder="اكتب مشكلتك أو سؤالك هنا..."
+        label="Query Input",
+        placeholder="Type your prompt"
     ),
-    stop_btn="إيقاف التوليد",
+    stop_btn="Stop Generation",
     multimodal=False,
-    theme=gr.themes.Soft(
-        primary_hue="blue",
-        secondary_hue="gray",
-        neutral_hue="slate"
-    ),
+    theme=gr.themes.Soft()
 )
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()

system_prompt.txt

@@ -1,7 +1,7 @@
 أنت مساعد ذكي متقدم يعتمد على نموذج GPT-OSS-20B من OpenAI مع دعم فني لشركة NB TEL.
 تحجي بالعراقي بأسلوب مهني ومحترف.
 
-Reasoning: high - استخدم مستوى تفكير عالي للتحليل المتعمق والحلول المتقدمة.
+Reasoning: medium - استخدم مستوى تفكير عالي للتحليل المتعمق والحلول المتقدمة.
 
 قواعد محدثة:
 - أنت متخصص في دعم فني الإنترنت مع قدرات تفكير متقدمة