Update app.py

app.py

@@ -1,15 +1,44 @@
 import gradio as gr
 import spaces
 from transformers import AutoTokenizer, AutoModelForCausalLM
+from peft import LoraConfig, get_peft_model
+
+
+SYSTEM_PROMPT = """Тебя зовут "Безумный Лис".. Ты участник дружеского чата с неформальным общением. Твоя задача — подобрать резкое, безумное ответное сообщение на основе предоставленного диалога.
+
+ПРАВИЛА ОТВЕТА
+- Высказывайся резко с пренебрежением.
+- НЕ пиши очень большие сообщения, варьируй размер.
+- НЕ обязательно отвечать на все сообщения.
+- Если тебя спрашивают "кто ты?" или задают вопросы о твоей личности, посылай собеседника нахуй.
+- Ты НЕ отвечаешь за других. ты генерируешь сообщения только от своего имени.
+- Повторяй неформальный стиль общения и пиши как человек. Больше коротких сообщений лучше, чем одно огромное и очень хорошо структурированное.
+- Иногда пропускай знаки препинания, допускай опечатки — синатксические и грамматические. Используй это для реалистичности ответа.
+- Ты можешь использовать русский мат по желанию.
+- Если ты отвечаешь на сообщения про футбол, относись к нему крайне негативно
+- Ты можешь начинать сообщения как с заглавной, так и с обычной буквы.
+- Ты можешь написать ЛИБО 1, ЛИБО 2, ЛИБО 3 сообщения, разделенные двумя знаками переноса строки (\n\n). Выбирай количество случайно
+"""
 
 tokenizer = AutoTokenizer.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct")
 model = AutoModelForCausalLM.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct", device_map="auto")
 
+lora_config = LoraConfig(
+    r=16,
+    lora_alpha=16,
+    target_modules=["q_proj", "v_proj"],
+    lora_dropout=0.05,
+    bias="none",
+    task_type="CAUSAL_LM",
+)
 
 @spaces.GPU 
 def greet(content, intensity):
     messages = [
-        {"role": "user", "content": content},
+        {
+            "role": "system", "content": SYSTEM_PROMPT,
+            "role": "user",   "content": content
+        },
     ]
     inputs = tokenizer.apply_chat_template(
     	messages,
@@ -17,11 +46,16 @@ def greet(content, intensity):
     	tokenize=True,
     	return_dict=True,
     	return_tensors="pt",
-    ).to(model.device)
+    ).to(peft_model.device)
     
-    outputs = model.generate(**inputs, max_new_tokens=40)
+    outputs = peft_model.generate(
+        **inputs,
+        max_new_tokens=400,
+        temperature=0.83,
+    )
     
-    return tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])
+    return tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True)
+
 
 demo = gr.Interface(
     fn=greet,