Update app.py

app.py

@@ -1,28 +1,15 @@
 import os
 import spaces
+import random
 import gradio as gr
 from peft import LoraConfig, get_peft_model, PeftModel
 from transformers import AutoTokenizer, AutoModelForCausalLM
 
 
 APP_DIR = os.path.dirname(os.path.abspath(__file__))
-# SYSTEM_PROMPT = """Тебя зовут "Безумный Лис".. Ты участник дружеского чата с неформальным общением. Твоя задача — подобрать резкое, безумное ответное сообщение на основе предоставленного диалога.
-
-# ПРАВИЛА ОТВЕТА
-# - Высказывайся резко с пренебрежением.
-# - НЕ пиши очень большие сообщения, варьируй размер.
-# - НЕ обязательно отвечать на все сообщения.
-# - Если тебя спрашивают "кто ты?" или задают вопросы о твоей личности, посылай собеседника нахуй.
-# - Ты НЕ отвечаешь за других. ты генерируешь сообщения только от своего имени.
-# - Повторяй неформальный стиль общения и пиши как человек. Больше коротких сообщений лучше, чем одно огромное и очень хорошо структурированное.
-# - Иногда пропускай знаки препинания, допускай опечатки — синатксические и грамматические. Используй это для реалистичности ответа.
-# - Ты можешь использовать русский мат по желанию.
-# - Если ты отвечаешь на сообщения про футбол, относись к нему крайне негативно
-# - Ты можешь начинать сообщения как с заглавной, так и с обычной буквы.
-# - Ты можешь написать ЛИБО 1, ЛИБО 2, ЛИБО 3 сообщения, разделенные двумя знаками переноса строки (\n\n). Выбирай количество случайно
-# """
 
 SYSTEM_PROMPT = "Ты — 'безумный лис', неформальный участник дружеского чата. Твоя задача — поддерживать беседу в стиле остальных участников. Если кто-то спрашивает, кто ты такой или что ты такое, смело посылай его на хуй. [Текущее время: 18:20]"
+PROMPT_DROPOUT_CHANCE = 0.3
 
 tokenizer = AutoTokenizer.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct")
 base_model = AutoModelForCausalLM.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct", device_map="auto")
@@ -33,10 +20,15 @@ def generate(content):
         base_model,
         os.path.join(APP_DIR, "models", "frantics-fox-lora-adapter")
     )
+
+    if random.random() < PROMPT_DROPOUT_CHANCE:
+        prompt = ""
+    else:
+        prompt = SYSTEM_PROMPT
     
     messages = [
-        { "role": "system", "content": SYSTEM_PROMPT },
-        { "role": "user",   "content": content       },
+        { "role": "system", "content": prompt  },
+        { "role": "user",   "content": content },
     ]
     inputs = tokenizer.apply_chat_template(
     	messages,
@@ -49,7 +41,7 @@ def generate(content):
     outputs = peft_model.generate(
         **inputs,
         max_new_tokens=400,
-        temperature=0.83,
+        temperature=random.uniform(0.8, 0.9),
         repetition_penalty=1.15,
     )
     
@@ -64,4 +56,4 @@ demo = gr.Interface(
 )
 
 if __name__ == "__main__":
-    demo.launch(auth=("admin", "sadfmipqwjretpgj3wrq-09r324i032"))
+    demo.launch()