Create app.py

app.py

@@ -0,0 +1,58 @@
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
+
+# 1. Модель мен токенизатордың атын анықтау
+model_name = "issai/Llama-3.1-KazLLM-1.0-8B"
+
+# 2. Токенизаторды жүктеу
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+# 3. Модельді жүктеу (Ескерту: 8B модель үлкен, оған жеткілікті ЖҚЖ (RAM) немесе GPU қажет)
+# Егер сізде GPU болмаса, `device_map="cpu"` немесе `device_map="auto"` қолдануға болады.
+# Модельді жеделдету үшін `torch_dtype=torch.bfloat16` қосуға болады, бірақ ол GPU-ға байланысты.
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    torch_dtype=torch.bfloat16,
+    device_map="auto" # Қол жетімді құрылғыға (GPU/CPU) автоматты түрде орналастыру
+)
+
+def kazakh_chatbot(prompt):
+    # Llama 3/KazLLM үшін диалог форматын дайындау
+    # Llama-ның арнайы форматын қолдану қажет болуы мүмкін.
+    # Қарапайым формат:
+    messages = [
+        {"role": "system", "content": "Сіз қазақ тіліндегі пайдалы және мейірімді чат-ботсыз. Барлық жауапты қазақ тілінде беріңіз."},
+        {"role": "user", "content": prompt}
+    ]
+
+    # Токенизация және генерация
+    input_ids = tokenizer.apply_chat_template(
+        messages,
+        tokenize=True,
+        add_generation_prompt=True,
+        return_tensors="pt"
+    ).to(model.device)
+
+    # Жауапты генерациялау
+    outputs = model.generate(
+        input_ids,
+        max_new_tokens=256, # Жауаптың максималды ұзындығы
+        do_sample=True,
+        temperature=0.7,   # Шығудың креативтілігін басқару
+        top_p=0.9,
+        eos_token_id=tokenizer.eos_token_id
+    )
+
+    # Жауапты декодтау
+    response = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)
+    return response
+
+# Чат-ботты тексеру
+user_input = "Қазақстанның астанасы қай қала?"
+print(f"Сұрақ: {user_input}")
+answer = kazakh_chatbot(user_input)
+print(f"Жауап: {answer}")
+
+# Егер Zero-Shot классификация қажет болса:
+# Егер сізге тек сұрақтың тақырыбын анықтау (классификация) қажет болса, zero-shot классификациясын қолдануға болады.
+# Бірақ бұл толыққанды чат-бот емес, мәтін жіктеуіш болады.