Update app.py

app.py

@@ -8,15 +8,15 @@ logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
 
 # Загружаем модель
-model_name = "gpt2"  # Смена на базовую модель GPT-2
+model_name = "ai-forever/rugpt-3.5B-103billion-tokens"
 try:
     logger.info(f"Попытка загрузки модели {model_name}...")
     generator = pipeline(
         "text-generation",
         model=model_name,
-        device=-1,
+        device=-1,  # CPU
         framework="pt",
-        max_length=512,
+        max_length=150,  # Уменьшаем для оптимизации
         truncation=True,
         model_kwargs={"torch_dtype": torch.float32}
     )
@@ -25,7 +25,7 @@ except Exception as e:
     logger.error(f"Ошибка загрузки модели: {e}")
     exit(1)
 
-def respond(message, max_tokens=256, temperature=0.7, top_p=0.9):
+def respond(message, max_tokens=150, temperature=0.7, top_p=0.9):
     try:
         logger.info(f"Генерация ответа для: {message}")
         outputs = generator(
@@ -34,7 +34,6 @@ def respond(message, max_tokens=256, temperature=0.7, top_p=0.9):
             temperature=temperature,
             top_p=top_p,
             do_sample=True,
-            no_repeat_ngram_size=2,
             num_return_sequences=1
         )
         response = outputs[0]["generated_text"].strip()
@@ -48,14 +47,14 @@ demo = gr.Interface(
     fn=respond,
     inputs=[
         gr.Textbox(label="Ваше сообщение", placeholder="Опишите симптомы (например, 'Болит горло')..."),
-        gr.Slider(minimum=50, maximum=512, value=256, step=10, label="Макс. токенов"),
-        gr.Slider(minimum=0.1, maximum=1.5, value=0.7, label="Температура"),
+        gr.Slider(minimum=50, maximum=300, value=150, step=10, label="Макс. токенов"),
+        gr.Slider(minimum=0.1, maximum=1.0, value=0.7, label="Температура"),
         gr.Slider(minimum=0.1, maximum=1.0, value=0.9, label="Top-p")
     ],
     outputs="text",
-    title="Медицинский чат-бот на базе GPT-2",
+    title="Медицинский чат-бот на базе RuGPT-3.5B",
     theme=gr.themes.Soft()
 )
 
 if __name__ == "__main__":
-    demo.launch(server_name="0.0.0.0", server_port=7860)
+    demo.launch()