felipecaspol commited on
Commit
cf00782
·
1 Parent(s): fa720ef

Corrección final: Se usa HF_HOME como caché segura en Hugging Face

Browse files
Files changed (1) hide show
  1. api.py +10 -10
api.py CHANGED
@@ -8,26 +8,25 @@ import os
8
  # ✅ Inicializar FastAPI
9
  app = FastAPI()
10
 
11
- # ✅ Crear directorio de caché para evitar problemas de permisos
12
- CACHE_DIR = "./cache"
13
- os.makedirs(CACHE_DIR, exist_ok=True)
14
 
15
  # ✅ Nombre del modelo en Hugging Face Hub
16
- HUGGING_FACE_REPO = "fcp2207/Phi-2" # Asegúrate de que sea el nombre correcto en Hugging Face
17
  MODEL_FILENAME = "phi2_finetuned.pth" # Nombre del archivo en Hugging Face
18
 
19
- # ✅ Descargar el modelo desde Hugging Face (especificando caché)
20
  model_path = hf_hub_download(
21
  repo_id=HUGGING_FACE_REPO,
22
  filename=MODEL_FILENAME,
23
- cache_dir=CACHE_DIR # Ruta de caché permitida
24
  )
25
 
26
- # ✅ Cargar el tokenizer y el modelo base
27
- tokenizer = AutoTokenizer.from_pretrained("microsoft/phi-2", cache_dir=CACHE_DIR)
28
- model = AutoModelForCausalLM.from_pretrained("microsoft/phi-2", cache_dir=CACHE_DIR)
29
 
30
- # ✅ Cargar los pesos del modelo
31
  model.load_state_dict(torch.load(model_path, map_location="cpu"))
32
  model.eval() # Poner el modelo en modo inferencia
33
 
@@ -68,3 +67,4 @@ if __name__ == "__main__":
68
 
69
 
70
 
 
 
8
  # ✅ Inicializar FastAPI
9
  app = FastAPI()
10
 
11
+ # ✅ Definir un directorio de caché seguro
12
+ os.environ["HF_HOME"] = "/tmp/huggingface"
 
13
 
14
  # ✅ Nombre del modelo en Hugging Face Hub
15
+ HUGGING_FACE_REPO = "fcp2207/Phi-2" # Reemplaza con tu usuario y nombre correcto del modelo en Hugging Face
16
  MODEL_FILENAME = "phi2_finetuned.pth" # Nombre del archivo en Hugging Face
17
 
18
+ # ✅ Descargar el modelo desde Hugging Face (usando la caché segura)
19
  model_path = hf_hub_download(
20
  repo_id=HUGGING_FACE_REPO,
21
  filename=MODEL_FILENAME,
22
+ cache_dir=os.environ["HF_HOME"] # Directorio seguro en Hugging Face Spaces
23
  )
24
 
25
+ # ✅ Cargar el tokenizer y el modelo base desde Hugging Face
26
+ tokenizer = AutoTokenizer.from_pretrained("microsoft/phi-2", cache_dir=os.environ["HF_HOME"])
27
+ model = AutoModelForCausalLM.from_pretrained("microsoft/phi-2", cache_dir=os.environ["HF_HOME"])
28
 
29
+ # ✅ Cargar los pesos del modelo fine-tuned
30
  model.load_state_dict(torch.load(model_path, map_location="cpu"))
31
  model.eval() # Poner el modelo en modo inferencia
32
 
 
67
 
68
 
69
 
70
+