app.py

import gradio as gr
import torch
import pytorch_lightning as pl
from pytorch_lightning.callbacks.early_stopping import EarlyStopping
from transformers import (
    MT5ForConditionalGeneration,
    MT5TokenizerFast,
)

model = MT5ForConditionalGeneration.from_pretrained(
    "minjibi/north_to_cen",
    return_dict=True,
)
tokenizer = MT5TokenizerFast.from_pretrained(
    "minjibi/north_to_cen"
)

def generate_text(input_text):
    input_ids = tokenizer.encode(input_text, return_tensors="pt")
    output = model.generate(input_ids, max_new_tokens = len(input_text.split(' ')) * 2, num_beams = 2, early_stopping=True, length_penalty = -5.0)
    generated_text = tokenizer.decode(output[0], skip_special_tokens=True, clean_up_tokenization_spaces=True)
    return generated_text
    
examples = [
    ["ห้าม เตียว ไป เตียว มา หรือ อู้ กั๋น ขณะ ตี้ ทำ วัตร สวด มนต์ นั่ง สมาธิ"],
    ["แม่น แม่น แล้ว ตาง พิพิธภัณฑ์ เปิ้น เปิด หื้อ เข้า ไป ผ่อ ต๋อน กี่ โมง ก๋า"],
    ["ตาง วัด บ่ อนุญาต หื้อ เอา ไฟแช็ก ของ วัด ปิ๊ก ไป บ้าน เน่อ ครับ"],
    ["กิ๋น ข้าว กับ หยัง"]
]


iface = gr.Interface(fn=generate_text, inputs="text", outputs="text", examples=examples)
iface.launch()