Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -43,55 +43,51 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
|
|
| 43 |
model = load_model()
|
| 44 |
print("Модель загружена")
|
| 45 |
|
| 46 |
-
|
| 47 |
-
|
| 48 |
-
|
| 49 |
-
|
| 50 |
-
|
| 51 |
-
|
| 52 |
-
|
| 53 |
-
|
| 54 |
-
|
| 55 |
-
|
| 56 |
-
- temperature: {temperature}
|
| 57 |
-
- top_p: {top_p}
|
| 58 |
-
""")
|
| 59 |
-
|
| 60 |
-
# Ограничиваем историю последними 3 сообщениями
|
| 61 |
-
recent_history = history[-3:] if len(history) > 3 else history
|
| 62 |
-
|
| 63 |
-
context = f"{system_message}\n\n"
|
| 64 |
-
for user_msg, assistant_msg in recent_history:
|
| 65 |
-
context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
|
| 66 |
-
context += f"User: {message}\nAssistant: "
|
| 67 |
-
|
| 68 |
-
print(f"Генерируем ответ для контекста длиной {len(context)} символов")
|
| 69 |
-
|
| 70 |
-
try:
|
| 71 |
-
progress(0.3, desc="Генерация ответа...")
|
| 72 |
-
response = model(
|
| 73 |
-
prompt=context,
|
| 74 |
-
max_tokens=max_new_tokens,
|
| 75 |
-
temperature=temperature,
|
| 76 |
-
top_p=top_p,
|
| 77 |
-
stop=["User:", "\n\n", "<|endoftext|>"],
|
| 78 |
-
echo=False
|
| 79 |
-
)
|
| 80 |
-
|
| 81 |
-
progress(1, desc="Готово!")
|
| 82 |
-
generated_text = response['choices'][0]['text']
|
| 83 |
-
print(f"Ответ сгенерирован успешно, длина: {len(generated_text)}")
|
| 84 |
-
return generated_text.strip()
|
| 85 |
-
except Exception as inner_e:
|
| 86 |
-
print(f"Ошибка при генерации: {str(inner_e)}")
|
| 87 |
-
print(f"Тип ошибки: {type(inner_e).__name__}")
|
| 88 |
-
return f"Ошибка при генерации: {str(inner_e)}"
|
| 89 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 90 |
except KeyboardInterrupt:
|
| 91 |
return "Генерация прервана пользователем"
|
| 92 |
except Exception as e:
|
| 93 |
print(f"Основная ошибка: {str(e)}")
|
| 94 |
print(f"Тип ошибки: {type(e).__name__}")
|
|
|
|
| 95 |
return f"Произошла ошибка: {str(e)}\nТип ошибки: {type(e).__name__}"
|
| 96 |
|
| 97 |
# Создаем интерфейс с оптимизированными параметрами
|
|
|
|
| 43 |
model = load_model()
|
| 44 |
print("Модель загружена")
|
| 45 |
|
| 46 |
+
# Отладочная печать входных параметров
|
| 47 |
+
print(f"""
|
| 48 |
+
Входные параметры:
|
| 49 |
+
- message: {message}
|
| 50 |
+
- history length: {len(history)}
|
| 51 |
+
- system_message: {system_message}
|
| 52 |
+
- max_new_tokens: {max_new_tokens}
|
| 53 |
+
- temperature: {temperature}
|
| 54 |
+
- top_p: {top_p}
|
| 55 |
+
""")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 56 |
|
| 57 |
+
# Ограничиваем историю последними 3 сообщениями
|
| 58 |
+
recent_history = history[-3:] if len(history) > 3 else history
|
| 59 |
+
|
| 60 |
+
context = f"{system_message}\n\n"
|
| 61 |
+
for user_msg, assistant_msg in recent_history:
|
| 62 |
+
context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
|
| 63 |
+
context += f"User: {message}\nAssistant: "
|
| 64 |
+
|
| 65 |
+
print(f"Генерируем ответ для контекста длиной {len(context)} символов")
|
| 66 |
+
|
| 67 |
+
try:
|
| 68 |
+
response = model(
|
| 69 |
+
prompt=context,
|
| 70 |
+
max_tokens=max_new_tokens,
|
| 71 |
+
temperature=temperature,
|
| 72 |
+
top_p=top_p,
|
| 73 |
+
stop=["User:", "\n\n", "<|endoftext|>"],
|
| 74 |
+
echo=False
|
| 75 |
+
)
|
| 76 |
+
|
| 77 |
+
generated_text = response['choices'][0]['text']
|
| 78 |
+
print(f"Ответ сгенерирован успешно, длина: {len(generated_text)}")
|
| 79 |
+
return generated_text.strip()
|
| 80 |
+
except Exception as inner_e:
|
| 81 |
+
print(f"Ошибка при генерации: {str(inner_e)}")
|
| 82 |
+
print(f"Тип ошибки: {type(inner_e).__name__}")
|
| 83 |
+
return f"Ошибка при генерации: {str(inner_e)}"
|
| 84 |
+
|
| 85 |
except KeyboardInterrupt:
|
| 86 |
return "Генерация прервана пользователем"
|
| 87 |
except Exception as e:
|
| 88 |
print(f"Основная ошибка: {str(e)}")
|
| 89 |
print(f"Тип ошибки: {type(e).__name__}")
|
| 90 |
+
traceback.print_exc() # Добавим полный стек ошибки
|
| 91 |
return f"Произошла ошибка: {str(e)}\nТип ошибки: {type(e).__name__}"
|
| 92 |
|
| 93 |
# Создаем интерфейс с оптимизированными параметрами
|