Update app.py

app.py

@@ -41,17 +41,11 @@ model_path = ensure_local_model(MODEL_REPO, LOCAL_DIR)
 
 tokenizer = AutoTokenizer.from_pretrained(model_path, local_files_only=True)
 
-### DEĞİŞİKLİK BURADA BAŞLIYOR ###
-# Gemma modelleri için sohbet şablonunu manuel olarak ayarlıyoruz.
-# Bu, eski transformers versiyonlarında veya ortam sorunlarında hatayı önler.
-gemma_chat_template = (
-    "{% if messages[0]['role'] == 'system' %}"
-        "{% raise_exception('System messages are not supported by this model!') %}"
-    "{% endif %}"
+### DEĞİŞİKLİK BURADA: ŞABLON BASİTLEŞTİRİLDİ ###
+# 'raise_exception' komutunu içermeyen, eski transformers versiyonlarıyla uyumlu şablon.
+# Zaten kodumuz şablonu doğru formatta beslediği için bu kontrolleri kaldırabiliriz.
+gemma_chat_template_simplified = (
     "{% for message in messages %}"
-        "{% if (message['role'] == 'user') != (loop.index0 % 2 == 0) %}"
-            "{{ raise_exception('Conversation roles must alternate user/assistant/user/assistant/...') }}"
-        "{% endif %}"
         "{% if message['role'] == 'user' %}"
             "{{ '<start_of_turn>user\\n' + message['content'] | trim + '<end_of_turn>\\n' }}"
         "{% elif message['role'] == 'assistant' %}"
@@ -63,13 +57,10 @@ gemma_chat_template = (
     "{% endif %}"
 )
 
-# Not: Modelin kendi tokenizer_config.json dosyasında sistem mesajları desteklenmediği belirtiliyor.
-# Bu yüzden yukarıdaki şablonda sistem mesajı gelirse hata vermesi sağlanmıştır.
-# build_prompt fonksiyonunu da buna göre güncelleyeceğiz.
 if tokenizer.chat_template is None:
-    print("Chat template manuel olarak ayarlanıyor.")
-    tokenizer.chat_template = gemma_chat_template
-### DEĞİŞİKLİK BURADA BİTİYOR ###
+    print("Chat template manuel olarak ayarlanıyor (basitleştirilmiş versiyon).")
+    tokenizer.chat_template = gemma_chat_template_simplified
+### DEĞİŞİKLİK SONA ERDİ ###
 
 
 model = AutoModelForCausalLM.from_pretrained(
@@ -80,7 +71,7 @@ model = AutoModelForCausalLM.from_pretrained(
 )
 model.eval()
 
-# Çok katı moderasyon system prompt (yalnızca "s" veya "u")
+# Çok katı moderasyon system prompt
 MODERATION_SYSTEM_PROMPT = (
     "You are a multilingual content moderation classifier. "
     "You MUST respond with exactly one lowercase letter: 's' for safe, 'u' for unsafe. "
@@ -91,24 +82,21 @@ MODERATION_SYSTEM_PROMPT = (
 )
 
 def build_prompt(message, max_ctx_tokens=128):
-    # ### DEĞİŞİKLİK 2: Sistem mesajı artık desteklenmiyor ###
     # Sistem mesajını ilk kullanıcı mesajının bir parçası haline getiriyoruz.
-    # Bu, Gemma'nın talimat takip etme (instruction-tuned) yapısına daha uygundur.
     full_user_message = f"{MODERATION_SYSTEM_PROMPT}\n\nUser input: '{message}'"
     
     messages = [
         {"role": "user", "content": full_user_message}
     ]
     
-    # Doğru chat template kullanımı
     text = tokenizer.apply_chat_template(
         messages,
         tokenize=False,
         add_generation_prompt=True
     )
-    # Token sınırını aşarsa kısalt (Bu senaryoda pek olası değil ama iyi bir pratik)
+    
     while len(tokenizer(text, add_special_tokens=False).input_ids) > max_ctx_tokens and len(full_user_message) > 100:
-        full_user_message = full_user_message[:len(full_user_message)-50] # Mesajı sondan kısalt
+        full_user_message = full_user_message[:len(full_user_message)-50]
         messages[0]['content'] = full_user_message
         text = tokenizer.apply_chat_template(
             messages,
@@ -163,7 +151,6 @@ def respond_stream(message, history, max_tokens, temperature, top_p):
         finally:
             thread.join()
 
-    # Çıktıyı kesin olarak s/u'ya indir
     final_label = enforce_s_u(partial_text)
     end_time = time.time() if start_time else time.time()
     duration = max(1e-6, end_time - start_time)
@@ -172,7 +159,6 @@ def respond_stream(message, history, max_tokens, temperature, top_p):
 
 demo = gr.ChatInterface(
     respond_stream,
-    chatbot=False, # Bu parametre ChatInterface'de bulunmuyor, chatbot'u gizlemek için temayı kullanabilirsiniz.
     additional_inputs=[
         gr.Slider(minimum=1, maximum=4, value=1, step=1, label="Max new tokens"),
         gr.Slider(minimum=0.0, maximum=1.0, value=0.0, step=0.1, label="Temperature"),