Mution commited on
Commit
368db3c
verified
1 Parent(s): 3f9da2c

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +6 -8
app.py CHANGED
@@ -5,15 +5,16 @@ import torch
5
 
6
  app = Flask(__name__)
7
 
8
- # Configuraci贸n principal
9
  model_id = "Mution/Hydra-Ydr-3.0"
 
10
  token = os.getenv("HF_TOKEN")
11
 
12
  print("Iniciando motor Hydra Ydr 3.0...")
13
- print("Cargando tokenizador (modo seguro para evitar conflicto de keys)...")
14
 
15
- # Soluci贸n al error de Qwen2: forzamos use_fast=False
16
- tokenizer = AutoTokenizer.from_pretrained(model_id, token=token, use_fast=False)
 
17
 
18
  print("Cargando modelo en memoria (esto tomar谩 unos minutos)...")
19
  model = AutoModelForCausalLM.from_pretrained(
@@ -22,7 +23,7 @@ model = AutoModelForCausalLM.from_pretrained(
22
  device_map="cpu",
23
  torch_dtype=torch.float32
24
  )
25
- print("Hydra Ydr 3.0 cargado y listo para operar en el servidor.")
26
 
27
  @app.route('/ask', methods=['POST'])
28
  def ask():
@@ -30,13 +31,11 @@ def ask():
30
  data = request.json
31
  user_prompt = data.get("prompt", "")
32
 
33
- # Identidad estricta para Hydra Software
34
  prompt = f"<|im_start|>system\nEres Hydra Ydr 3.0, el motor de inteligencia artificial de Hydra Software. Eres un experto absoluto en programaci贸n, desarrollo de software, creaci贸n de endpoints y arquitecturas de red. Operas de manera directa proporcionando siempre el c贸digo completo y funcional.<|im_end|>\n<|im_start|>user\n{user_prompt}<|im_end|>\n<|im_start|>assistant\n"
35
 
36
  inputs = tokenizer(prompt, return_tensors="pt")
37
 
38
  with torch.no_grad():
39
- # Generaci贸n de la respuesta
40
  outputs = model.generate(
41
  **inputs,
42
  max_new_tokens=512,
@@ -45,7 +44,6 @@ def ask():
45
  top_p=0.9
46
  )
47
 
48
- # Limpieza del formato para devolver solo el texto 煤til
49
  full_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
50
  response = full_text.split("<|im_start|>assistant\n")[-1].strip()
51
 
 
5
 
6
  app = Flask(__name__)
7
 
8
+ # Configuraci贸n: El cerebro de Hydra Software y el tokenizador base
9
  model_id = "Mution/Hydra-Ydr-3.0"
10
+ tokenizer_id = "Qwen/Qwen2.5-Coder-7B-Instruct"
11
  token = os.getenv("HF_TOKEN")
12
 
13
  print("Iniciando motor Hydra Ydr 3.0...")
 
14
 
15
+ # Cargamos el tokenizador original que no tiene el bug de exportaci贸n
16
+ print("Cargando tokenizador original...")
17
+ tokenizer = AutoTokenizer.from_pretrained(tokenizer_id, token=token)
18
 
19
  print("Cargando modelo en memoria (esto tomar谩 unos minutos)...")
20
  model = AutoModelForCausalLM.from_pretrained(
 
23
  device_map="cpu",
24
  torch_dtype=torch.float32
25
  )
26
+ print("Hydra Ydr 3.0 cargado y listo para operar.")
27
 
28
  @app.route('/ask', methods=['POST'])
29
  def ask():
 
31
  data = request.json
32
  user_prompt = data.get("prompt", "")
33
 
 
34
  prompt = f"<|im_start|>system\nEres Hydra Ydr 3.0, el motor de inteligencia artificial de Hydra Software. Eres un experto absoluto en programaci贸n, desarrollo de software, creaci贸n de endpoints y arquitecturas de red. Operas de manera directa proporcionando siempre el c贸digo completo y funcional.<|im_end|>\n<|im_start|>user\n{user_prompt}<|im_end|>\n<|im_start|>assistant\n"
35
 
36
  inputs = tokenizer(prompt, return_tensors="pt")
37
 
38
  with torch.no_grad():
 
39
  outputs = model.generate(
40
  **inputs,
41
  max_new_tokens=512,
 
44
  top_p=0.9
45
  )
46
 
 
47
  full_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
48
  response = full_text.split("<|im_start|>assistant\n")[-1].strip()
49