Update app.py

app.py

@@ -8,7 +8,8 @@ import os
 # functions
 def generate(description):
     if not description:
-        return None, None
+        yield None
+        return
 
     headers = {
         'Content-Type': 'application/json',
@@ -18,28 +19,36 @@ def generate(description):
     payload = {
         'messages': [{'role': 'system', 'content': f'Ты - корректор текста. Пользователь будет отправлять тебе сообщения, а ты должен исправлять в них все ГРАММАТИЧЕСКИЕ ошибки (в том числе и знаки припенания). Отвечать ты должен без лишних символов, только исправленный запрос пользователя, без markdown. Не надо писать вроде этого: "Вот ваш исправленный тексст: ...", пиши сразу "...". И не нужно выделять то, что ты исправил, просто напиши всё правильно, без грамматических ошибок. Начинаем, ниже сообщение пользователя'}, {'role': 'user', 'content': description}],
         'max_tokens': 150000,
-        'model': "gemini-1.5-pro-latest"
+        'model': "gemini-1.5-pro-latest",
+        'stream': True # Добавляем stream=True
     }
 
     try:
-        response = requests.post(f'{os.getenv("BASE_URL")}v1/chat/completions', headers=headers, json=payload)
+        response = requests.post(f'{os.getenv("BASE_URL")}v1/chat/completions', headers=headers, json=payload, stream=True, timeout=200)
         response.raise_for_status()  # Проверяем на ошибки HTTP
-        data = response.json()  # Используем response.json() вместо json.loads()
 
-        if 'choices' in data and len(data['choices']) > 0:
-            correct = data['choices'][0]['message']['content'].strip()
-            print("Генерация успешна")
-            return correct
-        elif 'error' in data:
-            error_message = data['error']['message']
-            print(f'Ошибка: {error_message}')
-            return f"**Ошибка сервера!**\n\n```\n{error_message}\n```"
-        else:
-            print(f'Не удалось сгенерировать текст. Ответ сервера: {data}')  # Выводим ответ сервера для отладки
-            return "**Неизвестная ошибка!**"
+        full_text = ""
+        for chunk in response.iter_lines():
+            if chunk:
+                try:
+                    chunk = chunk.decode('utf-8').replace("data: ", "")
+                    if chunk == "[DONE]":
+                        break
+                    chunk_data = json.loads(chunk)
+                    if 'choices' in chunk_data and len(chunk_data['choices']) > 0:
+                        text_chunk = chunk_data['choices'][0]['delta'].get('content', "")
+                        full_text += text_chunk
+                        yield full_text  # Выводим текст как итератор
+                except json.JSONDecodeError:
+                    continue
+        if not full_text:
+             yield "Не удалось получить ответ от сервера."
     except requests.exceptions.RequestException as e:
         print(f"Ошибка запроса: {e}")
-        return f"**Ошибка запроса!**\n\n```\n{e}\n```", f"Ошибка запроса!\n\n{e}"
+        yield f"**Ошибка запроса!**\n\n```\n{e}\n```"
+    except Exception as e:
+        print(f"Ошибка: {str(e)}")
+        yield "Произошла ошибка при генерации"
 
 
 # Ссылка на файл CSS
@@ -62,6 +71,6 @@ with gr.Blocks(css=css) as demo:
         with gr.Tab("Ответ"):
             text_output = gr.Textbox(show_label=False, placeholder="Привет, как дела?")
 
-    text_button.click(generate, inputs=[promt], outputs=[text_output], concurrency_limit=512)
+    text_button.click(generate, inputs=[promt], outputs=[text_output], concurrency_limit=250)
 
 demo.queue(api_open=False).launch()