Update app.py

app.py

@@ -1,9 +1,11 @@
-import gradio as gr
+import os
 import spaces
+import gradio as gr
+from peft import LoraConfig, get_peft_model, PeftModel
 from transformers import AutoTokenizer, AutoModelForCausalLM
-from peft import LoraConfig, get_peft_model
 
 
+APP_DIR = os.path.dirname(os.path.abspath(__file__))
 SYSTEM_PROMPT = """Тебя зовут "Безумный Лис".. Ты участник дружеского чата с неформальным общением. Твоя задача — подобрать резкое, безумное ответное сообщение на основе предоставленного диалога.
 
 ПРАВИЛА ОТВЕТА
@@ -21,19 +23,17 @@ SYSTEM_PROMPT = """Тебя зовут "Безумный Лис".. Ты учас
 """
 
 tokenizer = AutoTokenizer.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct")
-model = AutoModelForCausalLM.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct", device_map="auto")
+base_model = AutoModelForCausalLM.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct", device_map="auto")
 
-lora_config = LoraConfig(
-    r=16,
-    lora_alpha=16,
-    target_modules=["q_proj", "v_proj"],
-    lora_dropout=0.05,
-    bias="none",
-    task_type="CAUSAL_LM",
+
+peft_model = PeftModel.from_pretrained(
+    base_model,
+    os.path.join(APP_DIR, "models", "frantics-fox-lora-adapter")
 )
 
+
 @spaces.GPU 
-def greet(content, intensity):
+def generate(content):
     messages = [
         {
             "role": "system", "content": SYSTEM_PROMPT,
@@ -52,6 +52,7 @@ def greet(content, intensity):
         **inputs,
         max_new_tokens=400,
         temperature=0.83,
+        repetition_penalty=1.15,
     )
     
     return tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True)
@@ -59,9 +60,9 @@ def greet(content, intensity):
 
 demo = gr.Interface(
     fn=greet,
-    inputs=["text", "slider"],
+    inputs=["text"],
     outputs=["text"],
-    api_name="predict"
+    api_name="generate"
 )
 
 if __name__ == "__main__":