sterepando commited on
Commit
1bd2be8
·
verified ·
1 Parent(s): 701ee56

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +8 -3
app.py CHANGED
@@ -3,21 +3,26 @@ import uvicorn
3
  from PIL import Image
4
  from fastapi import FastAPI, UploadFile, File, Response
5
  from transformers import pipeline
 
6
 
7
  # --- 1. Глобальная загрузка модели (СВЕРХБЫСТРЫЙ СТАРТ) ---
8
  # Модель загружается только один раз при запуске сервера.
9
  # Используем пайплайн для простоты и эффективности.
10
  try:
11
  print(">>> Загрузка модели LightOnOCR-1B-1025... Это может занять несколько минут при первом запуске.")
12
- # Используем torch.bfloat16 для ускорения и уменьшения потребления памяти, если доступно
 
 
 
13
  ocr_pipeline = pipeline(
14
  "image-to-text",
15
  model="lightonai/LightOnOCR-1B-1025",
16
- device="cuda" if torch.cuda.is_available() else "cpu", # Используем GPU, если он доступен
17
- torch_dtype=torch.bfloat16 if torch.cuda.is_available() else None,
18
  )
19
  print(">>> Модель успешно загружена!")
20
  except Exception as e:
 
21
  print(f"Ошибка при загрузке модели: {e}")
22
  ocr_pipeline = None
23
 
 
3
  from PIL import Image
4
  from fastapi import FastAPI, UploadFile, File, Response
5
  from transformers import pipeline
6
+ import torch
7
 
8
  # --- 1. Глобальная загрузка модели (СВЕРХБЫСТРЫЙ СТАРТ) ---
9
  # Модель загружается только один раз при запуске сервера.
10
  # Используем пайплайн для простоты и эффективности.
11
  try:
12
  print(">>> Загрузка модели LightOnOCR-1B-1025... Это может занять несколько минут при первом запуске.")
13
+ # Этот код теперь будет работать, так как torch импортирован!
14
+ device_to_use = "cuda" if torch.cuda.is_available() else "cpu"
15
+ dtype_to_use = torch.bfloat16 if device_to_use == "cuda" else None
16
+
17
  ocr_pipeline = pipeline(
18
  "image-to-text",
19
  model="lightonai/LightOnOCR-1B-1025",
20
+ device=device_to_use,
21
+ torch_dtype=dtype_to_use,
22
  )
23
  print(">>> Модель успешно загружена!")
24
  except Exception as e:
25
+ # Ошибка 503 возникает, потому что код попадает сюда.
26
  print(f"Ошибка при загрузке модели: {e}")
27
  ocr_pipeline = None
28