Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -11,7 +11,6 @@ def load_model():
|
|
| 11 |
try:
|
| 12 |
print("Начинаем загрузку модели из Hub...")
|
| 13 |
|
| 14 |
-
# Загружаем файл модели из Hub
|
| 15 |
model_path = hf_hub_download(
|
| 16 |
repo_id="AugustLight/LLight-3.2-3B-Instruct",
|
| 17 |
filename="Llight.Q8_0.gguf",
|
|
@@ -20,7 +19,6 @@ def load_model():
|
|
| 20 |
|
| 21 |
print(f"Модель загружена в: {model_path}")
|
| 22 |
|
| 23 |
-
# Инициализируем модель через llama-cpp
|
| 24 |
model = Llama(
|
| 25 |
model_path=model_path,
|
| 26 |
n_ctx=2048, # Размер контекста
|
|
@@ -41,7 +39,6 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
|
|
| 41 |
if model is None:
|
| 42 |
model = load_model()
|
| 43 |
|
| 44 |
-
# Формируем контекст из истории
|
| 45 |
context = f"{system_message}\n\n"
|
| 46 |
for user_msg, assistant_msg in history:
|
| 47 |
context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
|
|
@@ -49,7 +46,6 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
|
|
| 49 |
|
| 50 |
print(f"Генерируем ответ для контекста длиной {len(context)} символов")
|
| 51 |
|
| 52 |
-
# Генерируем ответ используя llama-cpp
|
| 53 |
response = model(
|
| 54 |
prompt=context,
|
| 55 |
max_tokens=max_new_tokens,
|
|
@@ -73,7 +69,7 @@ demo = gr.ChatInterface(
|
|
| 73 |
respond,
|
| 74 |
additional_inputs=[
|
| 75 |
gr.Textbox(
|
| 76 |
-
value="Ты дружелюбный и полезный ассистент.
|
| 77 |
label="System message"
|
| 78 |
),
|
| 79 |
gr.Slider(
|
|
|
|
| 11 |
try:
|
| 12 |
print("Начинаем загрузку модели из Hub...")
|
| 13 |
|
|
|
|
| 14 |
model_path = hf_hub_download(
|
| 15 |
repo_id="AugustLight/LLight-3.2-3B-Instruct",
|
| 16 |
filename="Llight.Q8_0.gguf",
|
|
|
|
| 19 |
|
| 20 |
print(f"Модель загружена в: {model_path}")
|
| 21 |
|
|
|
|
| 22 |
model = Llama(
|
| 23 |
model_path=model_path,
|
| 24 |
n_ctx=2048, # Размер контекста
|
|
|
|
| 39 |
if model is None:
|
| 40 |
model = load_model()
|
| 41 |
|
|
|
|
| 42 |
context = f"{system_message}\n\n"
|
| 43 |
for user_msg, assistant_msg in history:
|
| 44 |
context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
|
|
|
|
| 46 |
|
| 47 |
print(f"Генерируем ответ для контекста длиной {len(context)} символов")
|
| 48 |
|
|
|
|
| 49 |
response = model(
|
| 50 |
prompt=context,
|
| 51 |
max_tokens=max_new_tokens,
|
|
|
|
| 69 |
respond,
|
| 70 |
additional_inputs=[
|
| 71 |
gr.Textbox(
|
| 72 |
+
value="Ты дружелюбный и полезный ассистент. Отвечай обдуманно и по делу.",
|
| 73 |
label="System message"
|
| 74 |
),
|
| 75 |
gr.Slider(
|