Update app.py

app.py

@@ -1,70 +1,124 @@
+import os
+import requests
 import gradio as gr
-import torch
-import time
-from transformers import AutoTokenizer, AutoModelForCausalLM
-
-# 1) Публичные русскоязычные модели
-MODEL_CONFIGS = {
-    "GigaChat-like":  "ai-forever/rugpt3large_based_on_gpt2",
-    "ChatGPT-like":   "ai-forever/rugpt3medium_based_on_gpt2",
-    "DeepSeek-like":  "ai-forever/rugpt3small_based_on_gpt2"
-}
-
-# 2) Устройство
-device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
-
-# 3) Загружаем модели один раз при старте
-models = {}
-for name, repo_id in MODEL_CONFIGS.items():
-    tok = AutoTokenizer.from_pretrained(repo_id)
-    mdl = AutoModelForCausalLM.from_pretrained(repo_id)
-    mdl.to(device).eval()
-    models[name] = (tok, mdl)
-
-# 4) CoT-промпты
-def cot1(q): return f"Клиент: «{q}»\nШаг за шагом объясни, как ответил бы банк."
-def cot2(q): return f"Клиент: «{q}»\nРазбери запрос и дай развернутый ответ."
-
-# 5) Генерация ответов + замер времени
-def generate_all(q):
-    out = {}
-    for name, (tok, mdl) in models.items():
-        out[name] = {}
-        for idx, prm in enumerate((cot1, cot2), start=1):
-            prompt = prm(q)
-            inputs = tok(prompt, return_tensors="pt", truncation=True, max_length=512).to(device)
-            t0 = time.time()
-            with torch.no_grad():
-                ids = mdl.generate(**inputs, max_new_tokens=150, do_sample=True, temperature=0.7, top_p=0.9)
-            dt = round(time.time() - t0, 2)
-            resp = tok.decode(ids[0], skip_special_tokens=True)
-            if resp.startswith(prompt):
-                resp = resp[len(prompt):].strip()
-            out[name][f"CoT-промпт {idx}"] = f"{resp}\n⏱ {dt} сек."
-    return out
-
-# 6) Обёртка для Gradio
-def run_all(q):
-    res = generate_all(q)
-    # вернём 3 больших текста: сначала GigaChat-like, потом ChatGPT-like, потом DeepSeek-like
+
+# Общая функция для вызова разных моделей
+
+def call_model(api_url, api_key, model_name, text, history, service):
+    # Инициализируем историю одним system-сообщением при первом обращении
+    if not history:
+        history = [{
+            "role": "system",
+            "content": "Вы — ассистент банка, отвечаете на вопросы клиентов про проблемы со снятием денег с карты."
+        }]
+    # Добавляем запрос пользователя
+    history.append({"role": "user", "content": text})
+
+    # Подбираем URL и заголовки в зависимости от сервиса
+    if service == "openai":
+        url = api_url
+        headers = {
+            "Authorization": f"Bearer {api_key}",
+            "Content-Type": "application/json"
+        }
+    elif service == "deepseek":
+        url = api_url
+        headers = {
+            "Authorization": f"Bearer {api_key}",
+            "Content-Type": "application/json"
+        }
+    elif service == "gigachat":
+        url = "https://gigachat.devices.sberbank.ru/api/v1/chat/completions"
+        headers = {
+            "Authorization": f"Bearer {api_key}",
+            "X-API-Scope": os.getenv("GIGACHAT_SCOPE", ""),
+            "Content-Type": "application/json"
+        }
+    else:
+        raise ValueError(f"Unknown service: {service}")
+
+    payload = {
+        "model": model_name,
+        "messages": history
+    }
+
+    response = requests.post(url, headers=headers, json=payload)
+    response.raise_for_status()
+    data = response.json()
+    content = data["choices"][0]["message"]["content"]
+
+    # Сохраняем ответ в историю
+    history.append({"role": "assistant", "content": content})
+    return content, history
+
+
+# Основная функция обработки ввода и вывода во всех трёх чатах
+
+def process_all(text, h1, h2, h3):
+    # ChatGPT (OpenAI)
+    out1, h1 = call_model(
+        api_url="https://api.openai.com/v1/chat/completions",
+        api_key=os.getenv("OPENAI_API_KEY"),
+        model_name="gpt-3.5-turbo",
+        text=text,
+        history=h1,
+        service="openai"
+    )
+    # DeepSeek (через собственный API)
+    out2, h2 = call_model(
+        api_url="https://api.deepseek.com/chat/completions",
+        api_key=os.getenv("DEEPSEEK_KEY"),
+        model_name="deepseek-chat-v3",
+        text=text,
+        history=h2,
+        service="deepseek"
+    )
+    # GigaChat (Сбер)
+    out3, h3 = call_model(
+        api_url=None,  # будет переопределён внутри
+        api_key=os.getenv("GIGACHAT_TOKEN"),
+        model_name="giga-chat-lite",
+        text=text,
+        history=h3,
+        service="gigachat"
+    )
+
+    # Возвращаем обновлённые состояния и содержимое чатботов
+    # Chatbot ждёт список кортежей (запрос, ответ)
     return (
-        "\n\n".join(f"### {k}\n\n" + "\n\n".join(v.values()) for k, v in [("GigaChat-like", res["GigaChat-like"])]),
-        "\n\n".join(f"### {k}\n\n" + "\n\n".join(v.values()) for k, v in [("ChatGPT-like", res["ChatGPT-like"])]),
-        "\n\n".join(f"### {k}\n\n" + "\n\n".join(v.values()) for k, v in [("DeepSeek-like", res["DeepSeek-like"])]),
+        h1,
+        h2,
+        h3,
+        [(None, out1)],
+        [(None, out2)],
+        [(None, out3)]
     )
 
-# 7) Blocks-интерфейс с явным полем вывода
-with gr.Blocks() as demo:
-    gr.Markdown("# Alpha Bank Assistant — сравнение CoT-моделей")
-    inp = gr.Textbox(label="Вопрос клиента", placeholder="Например: Как восстановить доступ в мобильный банк?", lines=3)
-    btn = gr.Button("Сгенерировать ответы")
-    # вот поле вывода: три текстовых Textbox’а под кнопкой
-    out1 = gr.Textbox(label="GigaChat-like", lines=8)
-    out2 = gr.Textbox(label="ChatGPT-like",  lines=8)
-    out3 = gr.Textbox(label="DeepSeek-like", lines=8)
-    btn.click(fn=run_all, inputs=inp, outputs=[out1, out2, out3])
 
 if __name__ == "__main__":
+    # Создаём интерфейс Gradio
+    with gr.Blocks() as demo:
+        gr.Markdown("## Мульти-чат: ChatGPT, DeepSeek и GigaChat в одном окне")
+        txt = gr.Textbox(label="Ваш запрос", placeholder="Напишите ваш вопрос...", lines=2)
+
+        # Состояния для истории каждого бота
+        s1 = gr.State([])
+        s2 = gr.State([])
+        s3 = gr.State([])
+
+        # Сам чат-интерфейс
+        c1 = gr.Chatbot(label="ChatGPT")
+        c2 = gr.Chatbot(label="DeepSeek")
+        c3 = gr.Chatbot(label="GigaChat")
+
+        btn = gr.Button("Отправить")
+        btn.click(
+            fn=process_all,
+            inputs=[txt, s1, s2, s3],
+            outputs=[s1, s2, s3, c1, c2, c3]
+        )
+
     demo.launch()
 
 
+