Update app.py

app.py

@@ -3,64 +3,48 @@ import torch
 import re
 import random
 from transformers import AutoModelForCausalLM, AutoTokenizer
-import os
 
 # ==========================================
-# 1. ЗАГРУЗКА МОДЕЛИ И ТОКЕНАЙЗЕРА
+# 1. ЗАГРУЗКА МОДЕЛИ (CPU MODE)
 # ==========================================
-# Используем ".", так как файлы модели лежат прямо в Space
-MODEL_PATH = "./" 
+MODEL_PATH = "./" # Файлы лежат в корне Спейса
 
-print("--- [1/2] Загрузка BananaGPT ---")
+print("--- [1/2] Загрузка модели на CPU ---")
 tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
 model = AutoModelForCausalLM.from_pretrained(
     MODEL_PATH,
-    torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
-    device_map="auto"
+    torch_dtype=torch.float32, # На CPU используем стандартный float32
+    device_map="cpu"           # Принудительно на процессор
 )
 
-# Жесткие лимиты под твои 128 токенов
+# Твои настройки контекста
 model.config.max_position_embeddings = 128
 model.config.use_cache = False
 tokenizer.pad_token = tokenizer.eos_token
-model.config.pad_token_id = tokenizer.pad_token_id
-
-print("--- [2/2] Модель загружена. Запуск интерфейса ---")
 
 # СПИСОК МУСОРА (Шиза)
-SHIZA_WASTE = [
-    "лучшая подруга", "решением знаний", "систему cn", "обновления системы", 
-    "мои знания", "тестового ключа", "python_dict", "максимизировать их ошибки",
-    "в густом тумане войны", "сегодня ты меня боишься", "CROME_", "RESMALA"
-]
+SHIZA_WASTE = ["лучшая подруга", "решением знаний", "систему cn", "обновления системы", "CROME_", "RESMALA"]
 
 # ==========================================
-# 2. ЛОГИКА ГЕНЕРАЦИИ С ПАМЯТЬЮ
+# 2. ЛОГИКА ГЕНЕРАЦИИ (Температура 0.35)
 # ==========================================
 def predict(message, history):
-    # message - текущий вопрос пользователя
-    # history - список прошлых сообщений [[user, bot], [user, bot]]
-    
-    # 1. Формируем контекст из истории (последние 2 сообщения, чтобы влезть в 128)
+    # Ограничиваем историю до 1 сообщения, чтобы CPU не думал вечно
     history_str = ""
-    for h in history[-2:]: # Берем только последние 2 пары
-        history_str += f"User: {h[0][:40]} AI: {h[1][:40]}\n"
+    if history:
+        last_user, last_bot = history[-1]
+        history_str = f"User: {last_user[:30]} AI: {last_bot[:30]}\n"
     
-    # Полный промпт (максимум 70 токенов, чтобы оставить место на ответ)
-    current_input = f"User: {message[:60]}"
-    full_prompt = f"{history_str}{current_input}\nAI:"
+    full_prompt = f"{history_str}User: {message[:60]}\nAI:"
     
-    # Токенизируем
-    inputs = tokenizer(full_prompt, return_tensors="pt").to(model.device)
+    inputs = tokenizer(full_prompt, return_tensors="pt") # Без .to(device), так как мы на CPU
     curr_len = inputs.input_ids.shape[1]
-    
-    # Рассчитываем свободное место до физического лимита в 128
     max_to_gen = 128 - curr_len - 1
-    
-    if max_to_gen <= 1:
-        # Если контекст забит, обнуляем историю и пробуем снова
+
+    # Если места нет — чистим промпт
+    if max_to_gen <= 5:
         full_prompt = f"User: {message[:60]}\nAI:"
-        inputs = tokenizer(full_prompt, return_tensors="pt").to(model.device)
+        inputs = tokenizer(full_prompt, return_tensors="pt")
         curr_len = inputs.input_ids.shape[1]
         max_to_gen = 128 - curr_len - 1
 
@@ -70,72 +54,49 @@ def predict(message, history):
                 **inputs,
                 max_new_tokens=max_to_gen,
                 do_sample=True,
-                temperature=0.35,      # Твоя температура!
-                repetition_penalty=1.8, # Усиливаем защиту от повторов
+                temperature=0.35,      # Твоя "золотая середина"
+                repetition_penalty=1.8, # Чтобы не зацикливался
                 top_k=20,
                 top_p=0.8,
                 pad_token_id=tokenizer.pad_token_id
             )
 
-        # Декодируем только ответ
         answer = tokenizer.decode(output_tokens[0][curr_len:], skip_special_tokens=True).strip()
         
-        # 2. Срезаем лишние диалоги
+        # Чистим структуру
         answer = re.split(r'User:|AI:|\n', answer)[0].strip()
 
-        # 3. ЛЮТЫЙ ДЕТЕКТОР ШИЗЫ (новое)
-        low_answer = answer.lower()
-        
-        # Если она опять начнет про "токены" или "обновление знаний"
-        for waste in SHIZA_WASTE:
-            if waste in low_answer:
-                # Режем всё сообщение, если там началась эта ересь
-                answer = answer.split(waste)[0].strip()
-        
-        # Дополнительная защита: если она пишет капсом или ставит коды
-        if re.search(r'[A-Z_]{7,}', answer) or "(" in answer and ")" in answer:
-            import random
-            answer = random.choice(["Завязывай с кодами.", "Чё?", "Ясно."])
+        # Фильтр техно-шизы
+        if re.search(r'[A-Z_]{7,}', answer) or "(" in answer:
+            answer = random.choice(["Чё ты несешь?", "Забудь про коды.", "Ясно."])
 
-        # Финальная проверка на пустоту
-        if not answer or len(answer) < 2:
-            answer = random.choice(["Мда...", "Проехали.", "Ясно."])
+        for waste in SHIZA_WASTE:
+            if waste in answer.lower():
+                answer = "Опять шиза началась..."
+                break
 
-        return answer
+        return answer if len(answer) > 1 else "Мда..."
             
     except Exception as e:
-        print(f"Error: {e}")
-        return "У меня мозг в тумане войны потерялся."
+        return f"CPU Error: {str(e)}"
 
 # ==========================================
-# 3. КРАСИВЫЙ ИНТЕРФЕЙС GRADIO
+# 3. ИНТЕРФЕЙС (GRADIO)
 # ==========================================
-# Тема "soft" выглядит современно и чисто
-with gr.Blocks(theme=gr.themes.Soft()) as demo:
-    gr.Markdown("# 🍌 ClicklezGPT: Режим «Адекватный Хам»")
-    gr.Markdown("Твоя нейронка с температурой **0.35** и защитой от технического бреда.")
-    
-    chatbot = gr.Chatbot(
-        label="Чат с BananaGPT", 
-        avatar_images=(None, "https://api.iconify.design/emojione:banana.svg")
-    )
+with gr.Blocks(theme=gr.themes.Default(primary_hue="yellow")) as demo:
+    gr.Markdown("# 🍌 BananaGPT (CPU Space Edition)")
+    chatbot = gr.Chatbot(label="Диалог с Нейрохамом")
+    msg = gr.Textbox(placeholder="Напиши что-нибудь...")
     
-    with gr.Row():
-        txt = gr.Textbox(
-            show_label=False,
-            placeholder="Напиши что-нибудь...",
-            scale=10
-        )
-        submit_btn = gr.Button("Оправить", scale=2)
-        
-    clear = gr.Button("Очистить историю")
+    def user(user_message, history):
+        return "", history + [[user_message, None]]
 
-    # Связываем элементы
-    # predict - функция генерации, inputs - ввод пользователя, outputs - чат
-    txt.submit(predict, [txt, chatbot], [chatbot])
-    submit_btn.click(predict, [txt, chatbot], [chatbot])
-    
-    # Очистка истории
-    clear.click(lambda: None, None, chatbot, queue=False)
+    def bot(history):
+        user_message = history[-1][0]
+        bot_message = predict(user_message, history[:-1])
+        history[-1][1] = bot_message
+        return history
+
+    msg.submit(user, [msg, chatbot], [msg, chatbot], queue=False).then(bot, chatbot, chatbot)
 
-demo.launch(server_name="0.0.0.0", server_port=7860)
+demo.launch()