Update app.py

app.py

@@ -1,6 +1,7 @@
 """
-Eroha AgentAPI v5.8 — AutoRecovery + Smart Dashboard Edition
+Eroha AgentAPI v5.8.3 — Stable Memory Build
 Production-grade архитектура для Hugging Face Spaces
+Auto-Recovery + CircuitBreaker + Smart Dashboard + Low Memory Optimization
 """
 
 import os
@@ -10,7 +11,7 @@ import time
 from datetime import datetime
 import gradio as gr
 from fastapi import FastAPI
-from fastapi.responses import JSONResponse
+from fastapi.responses import JSONResponse, HTMLResponse, PlainTextResponse
 from transformers import pipeline
 import psutil
 
@@ -20,12 +21,14 @@ import psutil
 HF_TOKEN = os.getenv("HF_TOKEN", "")
 ROUTER_URL = "https://api-inference.huggingface.co/models"
 FALLBACK_MODEL = "sshleifer/tiny-gpt2"
-CHECK_INTERVAL = 300  # 5 min
+CHECK_INTERVAL = 300  # 5 минут
+
 
 # ==============================
-# CORE CLASSES
+# CORE COMPONENTS
 # ==============================
 class CircuitBreaker:
+    """Простая FSM-защита от каскадных ошибок"""
     def __init__(self, threshold=3, timeout=60):
         self.failures = 0
         self.threshold = threshold
@@ -51,25 +54,32 @@ class CircuitBreaker:
             self.state = "OPEN"
             self.last_failure = time.time()
 
+
 circuit = CircuitBreaker()
 
+
 class HFClient:
+    """Клиент Hugging Face API с проверкой токена"""
     def __init__(self):
         self.token = HF_TOKEN
         self.headers = {"Authorization": f"Bearer {self.token}"} if self.token else {}
         self.valid = False
 
     async def validate(self):
+        """Проверка токена HF"""
         try:
             async with aiohttp.ClientSession() as s:
                 async with s.get("https://huggingface.co/api/whoami-v2", headers=self.headers) as r:
                     self.valid = r.status == 200
+                    print(f"🔐 HF token valid: {self.valid}")
                     return self.valid
-        except:
+        except Exception as e:
+            print(f"⚠️ Token validation error: {e}")
             self.valid = False
             return False
 
     async def infer(self, model, text):
+        """Отправка запроса на Router API"""
         if not circuit.allow():
             return {"error": "Circuit breaker open — fallback engaged"}
 
@@ -90,36 +100,69 @@ class HFClient:
             circuit.record_failure()
             return {"error": str(e)}
 
+
 client = HFClient()
 
+
+# ==============================
+# Fallback (safe, memory-aware)
+# ==============================
 class Fallback:
+    """
+    Локальная резервная tiny GPT-2 модель, безопасная для HF Spaces.
+    Загружается только при низкой загрузке памяти (<85%).
+    """
     def __init__(self):
         self.pipe = None
         self.ready = False
 
     async def load(self):
-        if not self.ready:
-            self.pipe = pipeline("text-generation", model=FALLBACK_MODEL)
+        """Безопасная загрузка модели"""
+        mem = psutil.virtual_memory().percent
+        if mem > 85:
+            print(f"⚠️ Недостаточно памяти для загрузки fallback модели ({mem:.1f}%)")
+            return False
+
+        try:
+            from transformers import pipeline
+            print("🧠 Загрузка fallback модели (sshleifer/tiny-gpt2)...")
+            self.pipe = pipeline("text-generation", model=FALLBACK_MODEL, device=-1)
             self.ready = True
+            print("✅ Fallback модель успешно загружена")
+            return True
+        except Exception as e:
+            print(f"❌ Ошибка при загрузке fallback модели: {e}")
+            self.ready = False
+            return False
 
     async def generate(self, text):
-        # 💡 Здесь мы вставляем проверку памяти перед загрузкой модели
-        import psutil
-        if not self.ready and psutil.virtual_memory().percent < 85:
+        """Формирование ответа с проверкой памяти"""
+        mem = psutil.virtual_memory().percent
+        if not self.ready and mem < 85:
             await self.load()
         elif not self.ready:
-            print("⚠️ Недостаточно памяти для загрузки fallback модели.")
-            return "⚠️ Fallback model не загружена из-за нехватки памяти."
+            print(f"⚠️ Пропуск загрузки fallback — память: {mem:.1f}%")
+            return "⚠️ Недостаточно памяти для генерации fallback-ответа."
+
+        if not self.pipe:
+            return "⚠️ Fallback модель недоступна. Попробуйте позже."
+
+        try:
+            result = self.pipe(text, max_new_tokens=100, temperature=0.7)[0]["generated_text"]
+            return result
+        except Exception as e:
+            print(f"❌ Ошибка генерации fallback: {e}")
+            return "🧠 Ошибка fallback. Попробуйте позже."
 
-        out = self.pipe(text, max_new_tokens=100)[0]["generated_text"]
-        return out
 
 fallback = Fallback()
 
+
 # ==============================
-# WATCHDOG
+# WATCHDOG (background health)
 # ==============================
 async def watchdog():
+    """Периодическая проверка состояния"""
     while True:
         print(f"[{datetime.now().isoformat()}] 🔍 Watchdog check...")
         await client.validate()
@@ -128,18 +171,21 @@ async def watchdog():
             print(f"⚠️ High memory usage: {mem}%")
         await asyncio.sleep(CHECK_INTERVAL)
 
+
 # ==============================
 # FASTAPI CORE
 # ==============================
-app = FastAPI(title="Eroha AgentAPI v5.8")
+app = FastAPI(title="Eroha AgentAPI v5.8.3")
 
 @app.on_event("startup")
 async def startup():
     asyncio.create_task(watchdog())
     await client.validate()
 
+
 @app.get("/health")
 async def health():
+    """Healthcheck endpoint"""
     return JSONResponse({
         "status": "ok" if client.valid else "degraded",
         "circuit": circuit.state,
@@ -147,8 +193,10 @@ async def health():
         "timestamp": datetime.now().isoformat()
     })
 
+
 @app.post("/inference")
 async def inference(data: dict):
+    """Основной API-инференс"""
     text = data.get("prompt", "")
     model = data.get("model", "microsoft/phi-3-mini-4k-instruct")
 
@@ -158,8 +206,9 @@ async def inference(data: dict):
         return {"source": "fallback", "response": fb, "note": res["error"]}
     return {"source": "router", "response": res}
 
+
 # ==============================
-# GRADIO INTERFACE
+# GRADIO UI
 # ==============================
 def gradio_infer(prompt, model_choice):
     loop = asyncio.new_event_loop()
@@ -173,6 +222,7 @@ def gradio_infer(prompt, model_choice):
         return result[0].get("generated_text", str(result))
     return str(result)
 
+
 def show_dashboard():
     mem = psutil.virtual_memory().percent
     status = "✅ OK" if client.valid else "⚠️ Token Invalid"
@@ -186,9 +236,10 @@ def show_dashboard():
 | Time | {datetime.now().strftime("%H:%M:%S")} |
 """
 
-demo = gr.Blocks(title="Eroha AgentAPI v5.8 — AutoRecovery Edition")
+
+demo = gr.Blocks(title="Eroha AgentAPI v5.8.3 — Stable Memory Build")
 with demo:
-    gr.Markdown("# 🤖 Eroha AgentAPI v5.8 — AutoRecovery + Smart Dashboard")
+    gr.Markdown("# 🤖 Eroha AgentAPI v5.8.3 — AutoRecovery + Smart Dashboard")
     with gr.Tab("💬 Chat"):
         inp = gr.Textbox(label="Введите запрос")
         model = gr.Dropdown(
@@ -206,29 +257,33 @@ with demo:
 
 app = gr.mount_gradio_app(app, demo, path="/ui")
 
-if __name__ == "__main__":
-    import uvicorn
-    uvicorn.run(app, host="0.0.0.0", port=7860)
-
-# ========== Дополнительные системные маршруты для стабильности ==========
-from fastapi.responses import HTMLResponse
 
+# ==============================
+# STABLE ROOT ROUTES
+# ==============================
 @app.get("/", response_class=HTMLResponse)
 async def root_page():
-    """Главная страница — отображает статус и ссылку на UI"""
+    """Главная страница"""
     return """
     <html>
-      <head><title>Eroha AgentAPI v5.8</title></head>
+      <head><title>Eroha AgentAPI v5.8.3</title></head>
       <body style='font-family:Arial;text-align:center;padding:2em;'>
-        <h2>🤖 Eroha AgentAPI v5.8 — AutoRecovery Edition</h2>
+        <h2>🤖 Eroha AgentAPI v5.8.3 — Stable Memory Build</h2>
         <p>Status: <b style='color:green;'>Running ✅</b></p>
         <p><a href='/ui' style='color:#4a68ff;font-size:18px;'>Открыть интерфейс →</a></p>
-        <p><a href='/health'>Health check</a> • <a href='/metrics'>Metrics</a></p>
+        <p><a href='/health'>Health check</a></p>
       </body>
     </html>
     """
 
+
 @app.get("/favicon.ico")
 async def favicon():
-    """Возврат пустого favicon для устранения 404"""
+    """Пустой favicon для предотвращения 404"""
     return PlainTextResponse("", status_code=204)
+
+
+if __name__ == "__main__":
+    import uvicorn
+    print("🚀 Starting Eroha AgentAPI v5.8.3 — Stable Memory Build")
+    uvicorn.run(app, host="0.0.0.0", port=7860)