Update app.py

app.py

@@ -2,22 +2,20 @@ import os
 import sys
 import subprocess
 
-# --- УСТАНОВКА БИБЛИОТЕК ---
+# --- УСТАНОВКА LLAMA-CPP-PYTHON (Runtime) ---
 try:
-    import llama_cpp
     from llama_cpp import Llama
-    print("Библиотека llama-cpp-python уже установлена.")
+    from llama_cpp.llama_chat_format import Llava15ChatHandler
+    print("Библиотека llama-cpp-python проверена.")
 except ImportError:
-    print("Установка llama-cpp-python...")
-    # Ставим последнюю версию без привязки к 0.3.16, чтобы получить все фиксы для Qwen2-VL
+    print("Установка llama-cpp-python с поддержкой CPU...")
+    # Устанавливаем версию с официального индекса разработчика
     subprocess.check_call([
         sys.executable, "-m", "pip", "install", 
-        "llama-cpp-python", 
-        "--upgrade",
+        "llama-cpp-python>=0.3.2",
         "--extra-index-url", "https://abetlen.github.io/llama-cpp-python/whl/cpu"
     ])
-    print("Установка завершена! Перезапуск...")
-    import llama_cpp
+    print("Установка завершена! Импортируем...")
     from llama_cpp import Llama
 
 import gradio as gr
@@ -25,6 +23,7 @@ from huggingface_hub import hf_hub_download
 import base64
 import io
 import re
+from PIL import Image
 
 # Настройки модели
 REPO_ID = "mradermacher/VisualQuality-R1-7B-GGUF"
@@ -42,45 +41,43 @@ def load_model():
                 filename=MODEL_FILENAME
             )
             
-            # Пытаемся найти специфичный хендлер для Qwen2-VL (появился в новых версиях)
-            chat_handler = None
-            try:
-                # Проверяем, есть ли встроенная поддержка Qwen2-VL в chat_format
-                from llama_cpp.llama_chat_format import Qwen2VLChatHandler
-                print("Используем Qwen2VLChatHandler")
-                chat_handler = Qwen2VLChatHandler()
-            except ImportError:
-                print("Специфичный Qwen2VLChatHandler не найден, используем стандартный режим.")
-                # В новых версиях llama.cpp поддержка может быть нативной без Python-хендлера,
-                # если не переопределять chat_format.
-
+            # ВАЖНО: chat_format="qwen2vl" включает встроенный хендлер для картинок
             llm = Llama(
                 model_path=model_path,
-                n_ctx=16384,          # Увеличили контекст для изображений
+                n_ctx=12288,          # 12k контекста (хватит для HD картинки)
                 n_gpu_layers=0,       # CPU
                 verbose=True,
-                chat_handler=chat_handler, # Передаем хендлер если нашли
-                # ВАЖНО: Убрали chat_format="chatml...", чтобы не ломать vision-логику
+                chat_format="qwen2vl" # Явно включаем режим Qwen2-VL
             )
             print("Модель успешно загружена!")
         except Exception as e:
-            print(f"Ошибка загрузки модели: {e}")
+            print(f"Критическая ошибка загрузки: {e}")
             raise e
     return llm
 
-def image_to_base64(image):
+def process_image(image):
+    # Ресайз слишком больших изображений для экономии памяти и контекста
+    max_size = 1024
+    if max(image.size) > max_size:
+        ratio = max_size / max(image.size)
+        new_size = (int(image.size[0] * ratio), int(image.size[1] * ratio))
+        image = image.resize(new_size, Image.Resampling.LANCZOS)
+    
+    # Конвертация в Base64
     buffered = io.BytesIO()
-    # Конвертируем в RGB и JPEG для совместимости
-    image = image.convert("RGB") 
-    image.save(buffered, format="JPEG", quality=95)
+    image = image.convert("RGB")
+    image.save(buffered, format="JPEG", quality=90)
     return base64.b64encode(buffered.getvalue()).decode('utf-8')
 
 def evaluate_image(image, progress=gr.Progress()):
     if image is None:
         return "Пожалуйста, загрузите изображение.", ""
     
-    progress(0, desc="Загрузка модели...")
-    model = load_model()
+    progress(0, desc="Инициализация...")
+    try:
+        model = load_model()
+    except Exception as e:
+        return f"Ошибка инициализации модели: {str(e)}", "Ошибка"
     
     system_prompt = "You are doing the image quality assessment task."
     user_prompt_text = (
@@ -90,8 +87,8 @@ def evaluate_image(image, progress=gr.Progress()):
         "Please only output the final answer with only one score in <answer> </answer> tags."
     )
     
-    progress(0.2, desc="Обработка изображения...")
-    base64_image = image_to_base64(image)
+    progress(0.1, desc="Обработка изображения...")
+    base64_image = process_image(image)
     image_url = f"data:image/jpeg;base64,{base64_image}"
 
     messages = [
@@ -106,12 +103,12 @@ def evaluate_image(image, progress=gr.Progress()):
     ]
 
     full_response = ""
-    print("Начало генерации...")
+    print("Отправка запроса в модель...")
     
     try:
         stream = model.create_chat_completion(
             messages=messages,
-            max_tokens=1024,
+            max_tokens=1500,
             temperature=0.6,
             stream=True
         )
@@ -123,14 +120,20 @@ def evaluate_image(image, progress=gr.Progress()):
                     content = delta["content"]
                     full_response += content
                     yield full_response, "Вычисляется..."
+                    
     except ValueError as e:
-        # Если снова ошибка токенов, выводим понятное сообщение
-        error_msg = f"Ошибка генерации: {e}. Возможно, модель не распознала изображение как Vision-контент."
-        print(error_msg)
-        yield error_msg, "Ошибка"
+        # Если формат чата не сработал
+        err = f"Ошибка формата: {e}. Попробуйте перезагрузить Space."
+        print(err)
+        yield err, "Error"
+        return
+    except Exception as e:
+        err = f"Внутренняя ошибка: {e}"
+        print(err)
+        yield err, "Error"
         return
 
-    # Поиск оценки
+    # Извлечение оценки
     score_match = re.search(r'<answer>\s*([\d\.]+)\s*</answer>', full_response)
     final_score = score_match.group(1) if score_match else "Не найдено"
     
@@ -138,16 +141,19 @@ def evaluate_image(image, progress=gr.Progress()):
 
 with gr.Blocks(title="VisualQuality-R1 (Q8 GGUF)") as demo:
     gr.Markdown("# 👁️ VisualQuality-R1 (7B Q8)")
-    gr.Markdown("Оценка качества изображений. Запущено на CPU.")
+    gr.Markdown(
+        "Оценка качества (IQA) с CoT. Работает на CPU (медленно!).\n"
+        "Если видите ошибку 'context window', попробуйте картинку меньшего разрешения."
+    )
     
     with gr.Row():
         with gr.Column():
-            input_img = gr.Image(type="pil", label="Загрузите изображение")
-            run_btn = gr.Button("Оценить качество", variant="primary")
+            input_img = gr.Image(type="pil", label="Изображение")
+            run_btn = gr.Button("Оценить", variant="primary")
         
         with gr.Column():
-            output_score = gr.Label(label="Итоговая оценка")
-            output_text = gr.Textbox(label="Ход мыслей (CoT) и ответ", lines=15)
+            output_score = gr.Label(label="Оценка")
+            output_text = gr.Textbox(label="Рассуждения (CoT)", lines=15)
 
     run_btn.click(
         fn=evaluate_image,