Update app.py

app.py

@@ -4,6 +4,9 @@ from pydantic import BaseModel
 from transformers import AutoTokenizer, AutoModelForCausalLM
 import torch
 import uvicorn
+import threading
+import time
+from collections import OrderedDict
 
 app = FastAPI()
 
@@ -11,18 +14,21 @@ model_name = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
 
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 model = AutoModelForCausalLM.from_pretrained(model_name)
-
 model.eval()
 
+# 🔹 "База данных" (макс 40 сообщений)
+MAX_HISTORY = 40
+db = OrderedDict()  # message -> {"status": "pending/done", "reply": str}
+
+# 🔹 Очередь
+queue = []
 
 class Message(BaseModel):
     message: str
 
 
 def generate_ai(message: str):
-
     prompt = f"User: {message}\nAssistant:"
-
     inputs = tokenizer(prompt, return_tensors="pt")
 
     with torch.no_grad():
@@ -40,27 +46,61 @@ def generate_ai(message: str):
     return reply
 
 
+# 🔥 Фоновый обработчик
+def worker():
+    while True:
+        if queue:
+            message = queue.pop(0)
+
+            # Генерация
+            reply = generate_ai(message)
+
+            # Сохраняем результат
+            if message in db:
+                db[message]["status"] = "done"
+                db[message]["reply"] = reply
+
+        time.sleep(0.1)
+
+
+# запускаем поток
+threading.Thread(target=worker, daemon=True).start()
+
+
 @app.get("/")
 async def root():
     return PlainTextResponse("AI server работает")
 
 
-# POST (для docs)
-@app.post("/")
-async def receive(data: Message):
+# 🔹 отправка запроса
+@app.get("/ask")
+async def ask(message: str):
 
-    reply = generate_ai(data.message)
+    # если уже есть — не добавляем повторно
+    if message not in db:
+        db[message] = {"status": "pending", "reply": ""}
+        queue.append(message)
 
-    return PlainTextResponse(reply)
+        # ограничение до 40
+        if len(db) > MAX_HISTORY:
+            db.popitem(last=False)  # удаляем старый
 
+    return PlainTextResponse("accepted")
 
-# GET (для Minecraft)
-@app.get("/ask")
-async def ask(message: str):
 
-    reply = generate_ai(message)
+# 🔹 получение ответа
+@app.get("/get")
+async def get(message: str):
+
+    if message not in db:
+        return PlainTextResponse("not found")
+
+    data = db[message]
+
+    if data["status"] == "pending":
+        return PlainTextResponse("processing")
 
-    return PlainTextResponse(reply)
+    return PlainTextResponse(data["reply"])
 
 
 if __name__ == "__main__":