Update app.py

app.py

@@ -66,9 +66,11 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
         print(error_msg)
         yield error_msg
 
-demo = gr.ChatInterface(
-    respond,
-    additional_inputs=[
+demo = gr.Interface(
+    fn=respond,
+    inputs=[
+        gr.Textbox(lines=2, label="Сообщение пользователя"),
+        gr.State(),
         gr.Textbox(
             value="Ты дружелюбный и полезный ассистент. Отвечай обдуманно и по делу.", 
             label="System message"
@@ -95,15 +97,10 @@ demo = gr.ChatInterface(
             label="Top-p (nucleus sampling)"
         ),
     ],
-    title="LLight Chat Model",
-    description="Чат с LLight-3.2-3B-Instruct",
-    examples=[
-        ["Привет! Как дела?"],
-        ["Расскажи мне о себе"],
-        ["Что ты умеешь делать?"]
-    ],
-    cache_examples=False,
-    streaming=True  # Включаем потоковый вывод в интерфейсе Gradio
+    outputs="text",
+    title="GGUF Chat Model",
+    description="Чат с GGUF моделью (LLight-3.2-3B-Instruct)",
+    live=True  # Включаем потоковую генерацию ответа
 )
 
 # Запускаем приложение