Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -51,12 +51,12 @@ print("Cargando modelo ligero...")
|
|
| 51 |
model_name = "microsoft/phi-2" # Modelo de 2.7B par谩metros, mucho m谩s ligero que 7B
|
| 52 |
|
| 53 |
# Configuraci贸n para reducir el uso de memoria
|
|
|
|
| 54 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
| 55 |
model = AutoModelForCausalLM.from_pretrained(
|
| 56 |
model_name,
|
| 57 |
torch_dtype=torch.float32,
|
| 58 |
-
low_cpu_mem_usage=True
|
| 59 |
-
device_map="auto"
|
| 60 |
)
|
| 61 |
|
| 62 |
# Crear el pipeline de generaci贸n de texto
|
|
@@ -89,4 +89,5 @@ demo = gr.Interface(
|
|
| 89 |
# Lanzar la aplicaci贸n con configuraci贸n para ahorrar memoria
|
| 90 |
if __name__ == "__main__":
|
| 91 |
# Configurar menos workers para ahorrar memoria
|
| 92 |
-
demo.queue(max_size=1).launch(share=False, debug=False)
|
|
|
|
|
|
| 51 |
model_name = "microsoft/phi-2" # Modelo de 2.7B par谩metros, mucho m谩s ligero que 7B
|
| 52 |
|
| 53 |
# Configuraci贸n para reducir el uso de memoria
|
| 54 |
+
# IMPORTANTE: Eliminamos device_map="auto" que no es compatible con Phi-2
|
| 55 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
| 56 |
model = AutoModelForCausalLM.from_pretrained(
|
| 57 |
model_name,
|
| 58 |
torch_dtype=torch.float32,
|
| 59 |
+
low_cpu_mem_usage=True
|
|
|
|
| 60 |
)
|
| 61 |
|
| 62 |
# Crear el pipeline de generaci贸n de texto
|
|
|
|
| 89 |
# Lanzar la aplicaci贸n con configuraci贸n para ahorrar memoria
|
| 90 |
if __name__ == "__main__":
|
| 91 |
# Configurar menos workers para ahorrar memoria
|
| 92 |
+
demo.queue(max_size=1).launch(share=False, debug=False)
|
| 93 |
+
|