Update app.py

app.py

@@ -3,7 +3,7 @@
 # MODEL: facebook/nllb-200-distilled-600M
 # + RAG (FAISS, backend only)
 # + Post-Editing Indonesia (TinyLlama)
-# METRIK: BLEU + ROUGE-L + METEOR
+# METRIK: BLEU + ROUGE-L + METEOR + COMET
 # ============================================================
 
 import torch
@@ -23,6 +23,9 @@ from transformers import (
     AutoModelForCausalLM
 )
 
+# ===================== COMET =====================
+from comet import download_model, load_from_checkpoint
+
 # ============================================================
 # Setup
 # ============================================================
@@ -57,6 +60,16 @@ pe_model.eval()
 
 print("TinyLlama loaded")
 
+# ============================================================
+# Load COMET
+# ============================================================
+print("Loading COMET...")
+
+comet_model_path = download_model("Unbabel/wmt22-comet-da")
+comet_model = load_from_checkpoint(comet_model_path)
+
+print("COMET loaded")
+
 # ============================================================
 # Load RAG Corpus
 # ============================================================
@@ -100,12 +113,9 @@ Perbaiki kalimat Bahasa Indonesia berikut TANPA:
 - menambah informasi
 - mengurangi informasi
 - mengubah makna
-
 Hanya rapikan tata bahasa dan hilangkan pengulangan.
-
 Kalimat:
 {text}
-
 Hasil:
 """
 
@@ -123,6 +133,22 @@ Hasil:
     decoded = pe_tokenizer.decode(outputs[0], skip_special_tokens=True)
     return decoded.split("Hasil:")[-1].strip()
 
+# ============================================================
+# COMET Evaluation
+# ============================================================
+def compute_comet(src, mt, ref):
+    try:
+        data = [{
+            "src": src,
+            "mt": mt,
+            "ref": ref
+        }]
+        score = comet_model.predict(data, batch_size=1, gpus=0)
+        return float(score["scores"][0])
+    except Exception as e:
+        print("COMET error:", e)
+        return 0.0
+
 # ============================================================
 # Translation Pipeline
 # ============================================================
@@ -130,7 +156,7 @@ def translate_jawa(text):
     if not text or not text.strip():
         return "", ""
 
-    # ---------- RAG (retrieved but not injected aggressively) ----------
+    # ---------- RAG ----------
     _ = retrieve_context(text, k=3)
 
     # ---------- Jawa → Indonesia ----------
@@ -184,18 +210,23 @@ def evaluate_translation(jawa, ref_id, ref_en):
     pred_id, pred_en = translate_jawa(jawa)
 
     bleu = sacrebleu.corpus_bleu([pred_id], [[ref_id]]).score
-
     rouge = Rouge()
     rouge_l = rouge.get_scores(pred_id, ref_id)[0]["rouge-l"]["f"]
-
     meteor = meteor_score([ref_id.split()], pred_id.split())
 
+    comet_score = compute_comet(
+        src=jawa,
+        mt=pred_en,
+        ref=ref_en
+    )
+
     return (
         pred_id,
         pred_en,
         f"{bleu:.2f}",
         f"{rouge_l:.4f}",
-        f"{meteor:.4f}"
+        f"{meteor:.4f}",
+        f"{comet_score:.4f}"
     )
 
 # ============================================================
@@ -206,7 +237,7 @@ with gr.Blocks(title="Jawa Translation System") as demo:
     ## 🌾 Translasi Bahasa Jawa (NLLB + RAG + TinyLlama)
     ✔ RAG Parallel Corpus  
     ✔ Post-Editing Neural  
-    ✔ Evaluasi BLEU · ROUGE-L · METEOR  
+    ✔ Evaluasi BLEU · ROUGE-L · METEOR · COMET  
     """)
 
     with gr.Tab("🔤 Translasi"):
@@ -230,11 +261,12 @@ with gr.Blocks(title="Jawa Translation System") as demo:
         bleu = gr.Textbox(label="BLEU")
         rouge_l = gr.Textbox(label="ROUGE-L")
         meteor = gr.Textbox(label="METEOR")
+        comet_box = gr.Textbox(label="COMET")
 
         gr.Button("Evaluasi").click(
             evaluate_translation,
             inputs=[eval_jawa, ref_id, ref_en],
-            outputs=[pred_id, pred_en, bleu, rouge_l, meteor]
+            outputs=[pred_id, pred_en, bleu, rouge_l, meteor, comet_box]
         )
 
 # ============================================================
@@ -247,3 +279,6 @@ if __name__ == "__main__":
         share=False
     )
 
+
+
+