Update app.py

app.py

@@ -5,29 +5,30 @@ from huggingface_hub import hf_hub_download
 from fastapi.middleware.cors import CORSMiddleware
 import os
 
-# --- КОНФИГУРАЦИЯ ---
-REPO_ID = "bartowski/Qwen2.5-7B-Instruct-GGUF"
-FILENAME = "Qwen2.5-7B-Instruct-Q4_K_M.gguf"
+# --- НАСТРОЙКА "МАЛЕНЬКОГО МОНСТРА" ---
+# Qwen 2.5 3B - Идеальный баланс. Легкая, но очень умная.
+REPO_ID = "bartowski/Qwen2.5-3B-Instruct-GGUF"
+FILENAME = "Qwen2.5-3B-Instruct-Q4_K_M.gguf"
 
 print(f"System: Начинаю загрузку {FILENAME}...")
 
 try:
     model_path = hf_hub_download(repo_id=REPO_ID, filename=FILENAME)
-    print(f"System: Модель загружена: {model_path}")
+    print(f"System: Модель готова: {model_path}")
 except Exception as e:
-    print(f"CRITICAL: Ошибка скачивания: {e}")
+    print(f"CRITICAL: Не удалось скачать модель: {e}")
     raise e
 
-# --- ИНИЦИАЛИЗАЦИЯ (ОПТИМИЗИРОВАННАЯ) ---
-print("System: Загрузка в RAM...")
+# --- ЗАПУСК МОЗГА ---
+print("System: Загрузка в память...")
+# Так как модель легкая (3B), мы можем дать ей БОЛЬШЕ памяти под контекст (4096)
 llm = Llama(
     model_path=model_path,
-    n_ctx=2048,        # Брат, ставим 2048 чтобы экономить память
-    n_threads=4,       # Все ядра CPU
-    n_batch=512,       # Обработка пакетами
+    n_ctx=4096,        # Большое окно памяти (влезет много текста)
+    n_threads=4,       # Используем все ядра
     verbose=False
 )
-print("System: Apex Engine готов.")
+print("System: Apex Engine (Fast Mode) готов.")
 
 app = FastAPI()
 
@@ -45,36 +46,39 @@ class AnalysisRequest(BaseModel):
 
 @app.get("/")
 def home():
-    return {"status": "Apex Engine Online", "model": "7B-Optimized"}
+    return {"status": "Apex Engine is Running", "model": "Qwen 2.5 3B (Fast & Smart)"}
 
 @app.post("/analyze")
 def analyze(req: AnalysisRequest):
-    print(f"Запрос получен: {req.query[:50]}...") # Логируем приход запроса
+    print(f"Запрос: {req.query[:50]}...")
     
+    # Системный промпт - говорим ей быть умной
     prompt = f"""<|im_start|>system
-Ты — Apex. Отвечай точно и кратко на русском языке.
+Ты — Apex, умный аналитический помощник.
+Твоя задача: внимательно прочитать контекст и дать точный ответ на вопрос пользователя на русском языке.
+Не выдумывай факты, используй только предоставленный контекст и свои знания.
 <|im_end|>
 <|im_start|>user
-Контекст: {req.context[:1000]} 
+Контекст:
+{req.context}
 
-Вопрос: {req.query}
+Вопрос:
+{req.query}
 <|im_end|>
 <|im_start|>assistant
 """
     try:
-        # Генерация
         output = llm(
             prompt, 
-            max_tokens=512,  # Ограничим длину, чтобы не было таймаута
-            temperature=0.3,
+            max_tokens=700,  # Длинный ответ разрешен
+            temperature=0.3, # Креативность в меру
             stop=["<|im_end|>"],
             echo=False
         )
-        text_result = output["choices"][0]["text"].strip()
-        print("Ответ сгенерирован успешно.")
-        return {"result": text_result}
+        
+        result_text = output["choices"][0]["text"].strip()
+        return {"result": result_text}
         
     except Exception as e:
-        print(f"ОШИБКА ГЕНЕРАЦИИ: {e}")
-        # Возвращаем ошибку клиенту, чтобы понимать что случилось
-        raise HTTPException(status_code=500, detail=str(e))
+        print(f"ERROR: {e}")
+        raise HTTPException(status_code=500, detail="Ошибка обработки запроса")