Update app.py

app.py

@@ -1,13 +1,14 @@
 import os
 os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0"
 
-from fastapi import FastAPI
-from pydantic import BaseModel
 import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM
+import gradio as gr
+from fastapi import FastAPI, Request
 import uvicorn
+from fastapi.middleware.cors import CORSMiddleware
 
-# === Загрузка модели ===
+# === Модель ===
 model_id = "sberbank-ai/rugpt3medium_based_on_gpt2"
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 model = AutoModelForCausalLM.from_pretrained(model_id)
@@ -15,23 +16,14 @@ model = AutoModelForCausalLM.from_pretrained(model_id)
 device = "cuda" if torch.cuda.is_available() else "cpu"
 model.to(device)
 
-# Контекст для модели
 context = (
     "Университет Иннополис был основан в 2012 году. "
     "Это современный вуз в России, специализирующийся на IT и робототехнике, "
     "расположенный в городе Иннополис, Татарстан.\n"
 )
 
-# === FastAPI приложение ===
-app = FastAPI()
-
-class QuestionRequest(BaseModel):
-    question: str
-
-@app.post("/ask")
-def generate_answer(request: QuestionRequest):
-    """Обрабатывает POST-запрос с вопросом и возвращает ответ модели."""
-    prompt = f"Прочитай текст и ответь на вопрос:\n\n{context}\n\nВопрос: {request.question}\nОтвет:"
+def generate_response(question):
+    prompt = f"Прочитай текст и ответь на вопрос:\n\n{context}\n\nВопрос: {question}\nОтвет:"
     input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
 
     with torch.no_grad():
@@ -51,8 +43,39 @@ def generate_answer(request: QuestionRequest):
     else:
         answer = output[len(prompt):].strip()
 
+    return answer
+
+# === Gradio интерфейс ===
+def chat_interface(message, history):
+    return generate_response(message)
+
+demo = gr.ChatInterface(
+    fn=chat_interface,
+    title="Иннополис Бот",
+    description="Задавайте вопросы о Университете Иннополис"
+)
+
+# === FastAPI приложение ===
+app = FastAPI()
+
+# Настройка CORS
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=["*"],
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+@app.post("/api/ask")
+async def api_ask(request: Request):
+    data = await request.json()
+    question = data.get("question", "")
+    answer = generate_response(question)
     return {"answer": answer}
 
-# Точка входа для запуска сервера
+# === Для работы в Spaces ===
+app = gr.mount_gradio_app(app, demo, path="/")
+
+# === Для локального тестирования ===
 if __name__ == "__main__":
-    uvicorn.run(app, host="0.0.0.0", port=8000)
+    uvicorn.run(app, host="0.0.0.0", port=7860)