Create app.py

app.py

@@ -0,0 +1,131 @@
+import gradio as gr
+import torch
+import os
+import re
+from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
+from peft import PeftModel
+
+# --- 1. Модельді Жүктеу Параметрлері ---
+TUNED_MODEL_PATH = "./qwen_kz_books_tuned" 
+BASE_MODEL_ID = "Qwen/Qwen1.5-0.5B-Chat" 
+
+MODEL_KZ_NAME = "Қазақ Кітаптары AI (Оқытылған)"
+MODEL_BASE_NAME = "Qwen 1.5-0.5B Chat (Базалық)"
+
+# --- 2. Модельді Жүктеу Функциясы ---
+def load_model():
+    """Оқытылған немесе базалық Qwen 0.5B моделін CPU-да жүктейді"""
+    print("🔥 Модельді жүктеу басталды. CPU режимі...")
+    
+    try:
+        if os.path.exists(TUNED_MODEL_PATH):
+            print(f"✅ Оқытылған модель табылды: {TUNED_MODEL_PATH}")
+            tokenizer = AutoTokenizer.from_pretrained(TUNED_MODEL_PATH)
+            
+            base_model = AutoModelForCausalLM.from_pretrained(
+                BASE_MODEL_ID,
+                torch_dtype=torch.float32, 
+                device_map="cpu", 
+                trust_remote_code=True
+            )
+            model = PeftModel.from_pretrained(base_model, TUNED_MODEL_PATH)
+            model_name = MODEL_KZ_NAME
+        else:
+            print(f"⚠️ Оқытылған модель табылмады. Базалық {BASE_MODEL_ID} жүктелуде.")
+            tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL_ID)
+            model = AutoModelForCausalLM.from_pretrained(
+                BASE_MODEL_ID,
+                torch_dtype=torch.float32,
+                device_map="cpu",
+                trust_remote_code=True
+            )
+            model_name = MODEL_BASE_NAME
+            
+    except Exception as e:
+        print(f"❌ Модельді жүктеу кезінде қате: {e}")
+        return None, None, f"Қате: {e}"
+
+    print(f"✅ Модель сәтті жүктелді: {model_name}")
+    return model, tokenizer, model_name
+
+# Глобальды айнымалыларды жүктеу
+model, tokenizer, model_status = load_model()
+
+# --- 3. Генерация Процесі (AI Қозғалтқышы) ---
+def generate_content(prompt):
+    """Модельге сұрақ жібереді және нәтижесін алады."""
+    if model is None:
+        return "Модель жүктелмеді. Қателерді консольден тексеріңіз.", "Қате"
+
+    # Prompt-ты Qwen-нің чат үлгісіне бейімдеу
+    formatted_prompt = f"Сіз қазақ әдебиеті бойынша білімді чатботсыз. Жауапты толық және Қазақша беріңіз. Сұрақ: {prompt}"
+    
+    # Qwen моделінің чат үлгісін қолдану
+    messages = [
+        {"role": "user", "content": formatted_prompt}
+    ]
+    input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+    
+    # Токенизация
+    input_ids = tokenizer(input_text, return_tensors="pt", padding=True).to(model.device)
+    
+    # Генерациялау параметрлері
+    outputs = model.generate(
+        **input_ids,
+        max_new_tokens=512,
+        temperature=0.7,
+        do_sample=True,
+        top_k=50,
+        top_p=0.95,
+        pad_token_id=tokenizer.eos_token_id
+    )
+    
+    # Нәтижені декодтау
+    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    
+    # Qwen үлгісіндегі prompt-ты кесіп тастау
+    response_start = generated_text.rfind(messages[-1]['content']) + len(messages[-1]['content'])
+    generated_text = generated_text[response_start:].strip()
+
+    # Таза мәтінді қайтару
+    result_text = f"## 📚 Қазақша Жауап\n\n{generated_text}"
+    
+    return result_text, f"Генерация сәтті аяқталды. Қолданылған модель: {model_status}"
+
+# --- 4. Gradio Интерфейсі ---
+with gr.Blocks(title="Қазақ Кітаптары Чатботы (Qwen AI)") as demo:
+    gr.HTML(f"""
+        <h1 style='text-align: center; color: #8B4513;'>📖 ҚАЗАҚ КІТАПТАРЫ ТУРАЛЫ ЧАТБОТ 🇰🇿</h1>
+        <p style='text-align: center;'>Бұл AI тек сен оқытқан кітаптар бойынша (Абай жолы, Көшпенділер, Қан мен Тер, т.б.) әңгімелесе алады.</p>
+        <p style='text-align: center; font-weight: bold;'>Модель Статусы: <span id='model-status'>{model_status}</span></p>
+    """)
+
+    with gr.Row():
+        with gr.Column(scale=1):
+            
+            input_prompt = gr.Textbox(
+                label="AI-мен әңгімелесуді бастаңыз",
+                placeholder="Мысалы: 'Абай жолындағы басты кейіпкерлерді атаңыз' не��есе 'Мұхтар Әуезовтің бұл романының тарихи маңызы қандай?'",
+                lines=5
+            )
+            
+            generate_btn = gr.Button("💬 Сұрақ Жіберу")
+            
+        with gr.Column(scale=2):
+            output_text = gr.Markdown(
+                label="AI Жауабы"
+            )
+            
+            status_message = gr.Textbox(
+                label="Процесс Статусы",
+                interactive=False
+            )
+
+    generate_btn.click(
+        fn=generate_content,
+        inputs=[input_prompt],
+        outputs=[output_text, status_message]
+    )
+
+if __name__ == "__main__":
+    demo.launch()