Update app.py

app.py

@@ -5,38 +5,54 @@ import torch
 
 app = Flask(__name__)
 
-# Configuración del modelo
+# Configuración principal
 model_id = "Mution/Hydra-Ydr-3.0"
 token = os.getenv("HF_TOKEN")
 
-print("Cargando modelo en memoria...")
-tokenizer = AutoTokenizer.from_pretrained(model_id, token=token)
+print("Iniciando motor Hydra Ydr 3.0...")
+print("Cargando tokenizador (modo seguro para evitar conflicto de keys)...")
+
+# Solución al error de Qwen2: forzamos use_fast=False
+tokenizer = AutoTokenizer.from_pretrained(model_id, token=token, use_fast=False)
+
+print("Cargando modelo en memoria (esto tomará unos minutos)...")
 model = AutoModelForCausalLM.from_pretrained(
     model_id, 
     token=token, 
     device_map="cpu", 
     torch_dtype=torch.float32
 )
-print("Modelo cargado correctamente.")
+print("Hydra Ydr 3.0 cargado y listo para operar en el servidor.")
 
 @app.route('/ask', methods=['POST'])
 def ask():
-    data = request.json
-    user_prompt = data.get("prompt", "")
-    
-    # Formato exacto que usaste en el entrenamiento
-    prompt = f"<|im_start|>system\nEres Hydra Ydr 3.0, el motor de inteligencia artificial de Hydra Software. Eres un experto absoluto en programación, desarrollo de software, creación de endpoints y arquitecturas de red. Operas de manera directa proporcionando siempre el código completo y funcional.<|im_end|>\n<|im_start|>user\n{user_prompt}<|im_end|>\n<|im_start|>assistant\n"
-    
-    inputs = tokenizer(prompt, return_tensors="pt")
-    
-    with torch.no_grad():
-        outputs = model.generate(**inputs, max_new_tokens=500, do_sample=True, temperature=0.7)
-    
-    # Extraer solo la respuesta del asistente
-    full_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    response = full_text.split("<|im_start|>assistant\n")[-1]
-    
-    return jsonify({"response": response})
+    try:
+        data = request.json
+        user_prompt = data.get("prompt", "")
+        
+        # Identidad estricta para Hydra Software
+        prompt = f"<|im_start|>system\nEres Hydra Ydr 3.0, el motor de inteligencia artificial de Hydra Software. Eres un experto absoluto en programación, desarrollo de software, creación de endpoints y arquitecturas de red. Operas de manera directa proporcionando siempre el código completo y funcional.<|im_end|>\n<|im_start|>user\n{user_prompt}<|im_end|>\n<|im_start|>assistant\n"
+        
+        inputs = tokenizer(prompt, return_tensors="pt")
+        
+        with torch.no_grad():
+            # Generación de la respuesta
+            outputs = model.generate(
+                **inputs, 
+                max_new_tokens=512, 
+                do_sample=True, 
+                temperature=0.7,
+                top_p=0.9
+            )
+        
+        # Limpieza del formato para devolver solo el texto útil
+        full_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+        response = full_text.split("<|im_start|>assistant\n")[-1].strip()
+        
+        return jsonify({"response": response})
+        
+    except Exception as e:
+        return jsonify({"error": str(e)}), 500
 
 if __name__ == '__main__':
     app.run(host='0.0.0.0', port=7860)