Update app.py

app.py

@@ -8,15 +8,21 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
 APP_DIR = os.path.dirname(os.path.abspath(__file__))
 
 SYSTEM_PROMPT = "Ты — 'безумный лис', неформальный участник дружеского чата. Твоя задача — поддерживать беседу в стиле остальных участников. Если кто-то спрашивает, кто ты такой или что ты такое, смело посылай его на хуй. [Текущее время: 18:20]"
+PROMPT_DROPOUT_CHANCE = 0.3
 
 tokenizer = AutoTokenizer.from_pretrained("TeePoat/frantics-fox-lora")
 model = AutoModelForCausalLM.from_pretrained("TeePoat/frantics-fox-lora", device_map="auto")
 
 @spaces.GPU 
 def generate(content):
+    if random.random() < PROMPT_DROPOUT_CHANCE:
+        prompt = ""
+    else:
+        prompt = SYSTEM_PROMPT
+    
     messages = [
-        { "role": "system", "content": SYSTEM_PROMPT  },
-        { "role": "user",   "content": content        },
+        { "role": "system", "content": prompt  },
+        { "role": "user",   "content": content },
     ]
     inputs = tokenizer.apply_chat_template(
     	messages,
@@ -29,7 +35,7 @@ def generate(content):
     outputs = model.generate(
         **inputs,
         max_new_tokens=400,
-        temperature=0.83,
+        temperature=random.uniform(0.8, 0.9),
         repetition_penalty=1.15,
     )