Update app.py

app.py

@@ -8,7 +8,6 @@ from huggingface_hub import hf_hub_download
 
 app = FastAPI()
 
-# Разрешаем все подключения
 app.add_middleware(
     CORSMiddleware,
     allow_origins=["*"],
@@ -17,7 +16,6 @@ app.add_middleware(
     allow_headers=["*"],
 )
 
-# Глобальная переменная для модели
 model = None
 current_id = ""
 
@@ -29,39 +27,33 @@ class ChatRequest(BaseModel):
     max_tokens: int = 512
     temperature: float = 0.7
 
+# Это главная страница. Если ты перейдешь по ссылке в браузере, ты должен увидеть это:
 @app.get("/")
 async def health():
-    return {"status": "online", "info": "Server is running. Send POST to /chat"}
+    return {"status": "online", "message": "API is running. Use POST /chat to interact."}
 
 @app.post("/chat")
 async def chat(request: ChatRequest):
     global model, current_id
-    
     new_id = f"{request.repo_id}/{request.filename}"
     
     try:
-        # 1. Загружаем модель, если она еще не в памяти
         if model is None or current_id != new_id:
-            print(f"--- Loading model: {new_id} ---")
             if model is not None:
                 del model
                 gc.collect()
             
-            # Скачивание файла (использует кэш HF)
             path = hf_hub_download(repo_id=request.repo_id, filename=request.filename)
-            
             model = Llama(
                 model_path=path,
-                n_ctx=2048, # Оптимально для 16ГБ RAM
+                n_ctx=2048,
                 n_threads=os.cpu_count() or 4,
-                n_gpu_layers=0, # Только CPU
+                n_gpu_layers=0,
                 verbose=False
             )
             current_id = new_id
 
-        # 2. Форматируем промпт и генерируем ответ
         full_prompt = f"System: {request.system_prompt}\nUser: {request.prompt}\nAssistant:"
-        
         output = model.create_completion(
             prompt=full_prompt,
             max_tokens=request.max_tokens,
@@ -73,21 +65,10 @@ async def chat(request: ChatRequest):
             "response": output["choices"][0]["text"].strip(),
             "model": current_id
         }
-        
     except Exception as e:
-        print(f"Error: {e}")
         raise HTTPException(status_code=500, detail=str(e))
 
 if __name__ == "__main__":
     import uvicorn
-    
-    # Автоматический вывод ссылки для подключения
-    space_id = os.getenv("SPACE_ID")
-    if space_id:
-        # Прямая ссылка на API для внешних программ
-        host_link = f"https://{space_id.replace('/', '-').lower()}.hf.space/chat"
-        print("\n" + "="*50)
-        print(f"URL ДЛЯ ПОДКЛЮЧЕНИЯ:\n{host_link}")
-        print("="*50 + "\n")
-    
+    # Hugging Face всегда использует порт 7860
     uvicorn.run(app, host="0.0.0.0", port=7860)