Update app.py

app.py

@@ -16,11 +16,11 @@ tokenizer = AutoTokenizer.from_pretrained(model_name)
 model = AutoModelForCausalLM.from_pretrained(model_name)
 model.eval()
 
-# 🔹 "База данных" (макс 40 сообщений)
+# 🔹 настройки
 MAX_HISTORY = 40
-db = OrderedDict()  # message -> {"status": "pending/done", "reply": str}
+NUM_WORKERS = 3  # 🔥 ВАЖНО: количество потоков
 
-# 🔹 Очередь
+db = OrderedDict()
 queue = []
 
 class Message(BaseModel):
@@ -28,7 +28,6 @@ class Message(BaseModel):
 
 
 def generate_ai(message: str):
-    # 🔥 Улучшенный prompt
     prompt = f"User: {message}\nAssistant: Answer clearly and fully:\n"
 
     inputs = tokenizer(prompt, return_tensors="pt")
@@ -37,14 +36,13 @@ def generate_ai(message: str):
         outputs = model.generate(
             **inputs,
             max_new_tokens=60,
-            min_new_tokens=20,   # 🔥 чтобы не обрывал
+            min_new_tokens=20,
             do_sample=True,
             temperature=0.7,
             top_p=0.9,
             eos_token_id=tokenizer.eos_token_id
         )
 
-    # 🔥 ВАЖНО: декодим только НОВЫЕ токены
     input_length = inputs.input_ids.shape[1]
     generated_tokens = outputs[0][input_length:]
 
@@ -53,23 +51,29 @@ def generate_ai(message: str):
     return reply
 
 
-# 🔥 Фоновый обработчик
+# 🔥 Поток-воркер
 def worker():
     while True:
         if queue:
             message = queue.pop(0)
 
+            # ⚡ если уже есть ответ — пропускаем
+            if message in db and db[message]["status"] == "done":
+                continue
+
             reply = generate_ai(message)
 
             if message in db:
                 db[message]["status"] = "done"
                 db[message]["reply"] = reply
 
-        time.sleep(0.05)  # чуть быстрее
+        else:
+            time.sleep(0.01)  # 🔥 меньше лаг
 
 
-# запускаем поток
-threading.Thread(target=worker, daemon=True).start()
+# 🔥 запускаем несколько воркеров
+for _ in range(NUM_WORKERS):
+    threading.Thread(target=worker, daemon=True).start()
 
 
 @app.get("/")
@@ -81,11 +85,14 @@ async def root():
 @app.get("/ask")
 async def ask(message: str):
 
+    # ⚡ МГНОВЕННЫЙ КЭШ
+    if message in db and db[message]["status"] == "done":
+        return PlainTextResponse("cached")
+
     if message not in db:
         db[message] = {"status": "pending", "reply": ""}
         queue.append(message)
 
-        # ограничение до 40
         if len(db) > MAX_HISTORY:
             db.popitem(last=False)