Create app.py

app.py

@@ -0,0 +1,56 @@
+# app.py
+
+import gradio as gr
+import torch
+import numpy as np
+from transformers import AutoTokenizer, AutoModelForTokenClassification
+
+# ============================
+# 1. Модель мен токенизаторды жүктеу
+# ============================
+# Мысалы, мультилингвалды BERT (қазақ тілін қолдайды)
+model_checkpoint = "bert-base-multilingual-cased"
+tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
+model = AutoModelForTokenClassification.from_pretrained(model_checkpoint, num_labels=7)
+
+# Қазақ NER үшін label тізімі
+label_list = ["O", "B-PER", "I-PER", "B-ORG", "I-ORG", "B-LOC", "I-LOC"]
+
+# ============================
+# 2. NER функциясы
+# ============================
+def predict_ner(text):
+    # Токенизация
+    tokens = tokenizer(text.split(), return_tensors="pt", is_split_into_words=True)
+    outputs = model(**tokens).logits
+    predictions = np.argmax(outputs.detach().numpy(), axis=2)[0]
+
+    word_ids = tokens.word_ids(batch_index=0)
+    results = []
+    already_seen = set()
+    for idx, word_idx in enumerate(word_ids):
+        if word_idx is not None and word_idx not in already_seen:
+            label = label_list[predictions[idx]]
+            word = text.split()[word_idx]
+            if label != "O":
+                results.append(f"{word} → {label}")
+            already_seen.add(word_idx)
+    if not results:
+        return "Атаулар табылған жоқ"
+    return "\n".join(results)
+
+# ============================
+# 3. Gradio интерфейсі
+# ============================
+iface = gr.Interface(
+    fn=predict_ner,
+    inputs=gr.Textbox(lines=5, placeholder="Мәтінді осында енгізіңіз..."),
+    outputs=gr.Textbox(label="Анықталған атаулар (NER)"),
+    title="Қазақ тіліндегі NER",
+    description="Бұл құрал қазақ мәтіндеріндегі адам, ұйым және орын атауларын анықтайды"
+)
+
+# ============================
+# 4. Іске қосу
+# ============================
+iface.launch()