Update app.py

app.py

@@ -13,26 +13,26 @@ tokenizer = AutoTokenizer.from_pretrained(
     subfolder=SUBFOLDER,
 )
 
-# Modell – fp16 + snålare CPU-load
+# Modell – fp16 och snålare på CPU
 model = AutoModelForCausalLM.from_pretrained(
     MODEL_ID,
     subfolder=SUBFOLDER,
-    torch_dtype=torch.float16,
+    dtype=torch.float16,        # samma som torch_dtype men utan varningen
     low_cpu_mem_usage=True,
-    device_map="cpu",   # var explicit – allt på CPU
+    device_map="cpu",           # var explicit, allt på CPU
 )
 model.eval()
 
 
 def build_prompt(message, history):
     """
-    history (Gradio 6) är en lista av dicts:
+    I Gradio 6 är history en lista av dicts:
     [
       {"role": "user", "content": [...]},
       {"role": "assistant", "content": [...]},
       ...
     ]
-    Vi mappar det till samma roll/text-format som vid träning.
+    Vi plockar ut texten och mappar till {role, content}.
     """
     messages = []
 
@@ -47,7 +47,6 @@ def build_prompt(message, history):
                 if isinstance(block, dict) and block.get("type") == "text":
                     texts.append(block.get("text", ""))
                 else:
-                    # fallback om Gradio skickar annat format
                     texts.append(str(block))
             text = "\n".join(t for t in texts if t)
         else:
@@ -56,7 +55,7 @@ def build_prompt(message, history):
         if text:
             messages.append({"role": role, "content": text})
 
-    # Lägg till nuvarande användarmeddelande
+    # nuvarande användarmeddelande
     messages.append({"role": "user", "content": message})
 
     prompt = tokenizer.apply_chat_template(
@@ -75,8 +74,8 @@ def chat_fn(message, history):
     with torch.no_grad():
         outputs = model.generate(
             **inputs,
-            max_new_tokens=64,          # kortare svar = mycket snabbare
-            do_sample=False,            # deterministiskt, billigare
+            max_new_tokens=64,          # kortare svar för snabbare CPU
+            do_sample=False,            # deterministiskt
             temperature=None,
             top_p=None,
             pad_token_id=tokenizer.eos_token_id,
@@ -93,7 +92,6 @@ def chat_fn(message, history):
 
 demo = gr.ChatInterface(
     fn=chat_fn,
-    type="messages",   # säg tydligt att vi använder messages-formatet
     title="Lab 2 – Fine-tuned merged model (fp16)",
     description=(
         "Chat with our fine-tuned Llama-based model, merged to fp16 and "