Update app.py

app.py

@@ -4,7 +4,7 @@
 import os
 import warnings
 from flask import Flask, request, Response  # Servidor web y streaming
-from transformers import AutoTokenizer, AutoModelForCausalLM, TextIteratorStreamer  # Modelo IA
+from transformers import AutoTokenizer, AutoModel, TextIteratorStreamer  # Modelo IA
 import torch  # Motor de ejecución del modelo
 import threading  # Para ejecutar el modelo en segundo plano
 import json  # Para manejar datos JSON
@@ -13,8 +13,10 @@ import json  # Para manejar datos JSON
 # ==============================
 # CONFIGURACIÓN DEL MODELO
 # ==============================
+# Load model directly
 
-MODEL_NAME = "microsoft/phi-2"  # Modelo que vamos a usar
+model = AutoModel.from_pretrained("unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF", dtype="auto")
+#MODEL_NAME = "microsoft/phi-2"  # Modelo que vamos a usar
 
 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)  # Descarga el tokenizador
 model = AutoModelForCausalLM.from_pretrained(
@@ -48,7 +50,7 @@ def generate_stream(prompt):
     streamer = TextIteratorStreamer(
         tokenizer,
         skip_prompt=True,  # No repite el prompt
-        skip_special_tokens=True  # Quita tokens especiales
+        skip_special_tokens=False  # Quita tokens especiales
     )
 
     # Ejecuta el modelo en segundo plano
@@ -58,9 +60,9 @@ def generate_stream(prompt):
             "inputs": inputs["input_ids"],  # Texto convertido
             "attention_mask": inputs["attention_mask"],
             "max_new_tokens": 300,  # Máximo de tokens a generar
-            "temperature": 0.7,  # Creatividad
-            "top_p": 0.9,  # Diversidad
-            "do_sample": True,  # Activa aleatoriedad
+            "temperature": 0.5,  # Creatividad
+            "top_p": 0.5,  # Diversidad
+            "do_sample": False,  # Activa aleatoriedad
             "streamer": streamer  # Activa streaming
         }
     )