Garush65 commited on
Commit
868dc46
·
verified ·
1 Parent(s): ba1690d

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +12 -12
app.py CHANGED
@@ -5,31 +5,32 @@ from huggingface_hub import hf_hub_download
5
  from fastapi.middleware.cors import CORSMiddleware
6
  import os
7
 
8
- # --- КОНФИГУРАЦИЯ МОДЕЛИ ---
9
- # Qwen2.5-7B-Instruct (Умная, мощная, русский язык)
10
- REPO_ID = "Qwen/Qwen2.5-7B-Instruct-GGUF"
11
- FILENAME = "qwen2.5-7b-instruct-q4_k_m.gguf"
 
12
 
13
- print(f"System: Начинаю загрузку модели {FILENAME}...")
14
 
15
- # Скачиваем модель. Благодаря ENV HF_HOME в Dockerfile, она скачается в /app/cache
16
  try:
17
  model_path = hf_hub_download(
18
  repo_id=REPO_ID,
19
  filename=FILENAME
20
  )
21
- print(f"System: Модель готова по пути {model_path}")
22
  except Exception as e:
23
- print(f"CRITICAL ERROR: Не удалось скачать модель. {e}")
24
  raise e
25
 
26
  # --- ИНИЦИАЛИЗАЦИЯ LLM ---
27
  print("System: Запуск нейросети в память...")
 
28
  llm = Llama(
29
  model_path=model_path,
30
- n_ctx=8192, # Большой контекст
31
- n_threads=4, # На HF Spaces обычно 2-4 vCPU
32
- verbose=False # Меньше мусора в логах
33
  )
34
  print("System: Apex Engine готов к работе.")
35
 
@@ -54,7 +55,6 @@ def home():
54
 
55
  @app.post("/analyze")
56
  def analyze(req: AnalysisRequest):
57
- # Строгий системный промпт для умных ответов
58
  prompt = f"""<|im_start|>system
59
  Ты — Apex, передовой аналитический ИИ.
60
  Твоя задача: проанализировать контекст и дать подробный, логичный и обоснованный ответ на русском языке.
 
5
  from fastapi.middleware.cors import CORSMiddleware
6
  import os
7
 
8
+ # --- КОНФИГУРАЦИЯ МОДЕЛИ (ИСПРАВЛЕНО) ---
9
+ # Используем репозиторий bartowski - это самый надежный источник GGUF
10
+ REPO_ID = "bartowski/Qwen2.5-7B-Instruct-GGUF"
11
+ # Точное имя файла (обрати внимание на большие буквы, это важно!)
12
+ FILENAME = "Qwen2.5-7B-Instruct-Q4_K_M.gguf"
13
 
14
+ print(f"System: Начинаю загрузку модели {FILENAME} из {REPO_ID}...")
15
 
 
16
  try:
17
  model_path = hf_hub_download(
18
  repo_id=REPO_ID,
19
  filename=FILENAME
20
  )
21
+ print(f"System: Модель успешно скачана: {model_path}")
22
  except Exception as e:
23
+ print(f"CRITICAL ERROR: Ошибка загрузки. Проверь интернет или имя файла. {e}")
24
  raise e
25
 
26
  # --- ИНИЦИАЛИЗАЦИЯ LLM ---
27
  print("System: Запуск нейросети в память...")
28
+ # n_ctx=4096 - безопасное значение для HF Spaces (чтобы не вылетело по памяти)
29
  llm = Llama(
30
  model_path=model_path,
31
+ n_ctx=4096,
32
+ n_threads=4,
33
+ verbose=False
34
  )
35
  print("System: Apex Engine готов к работе.")
36
 
 
55
 
56
  @app.post("/analyze")
57
  def analyze(req: AnalysisRequest):
 
58
  prompt = f"""<|im_start|>system
59
  Ты — Apex, передовой аналитический ИИ.
60
  Твоя задача: проанализировать контекст и дать подробный, логичный и обоснованный ответ на русском языке.