Add OpenThaiGPT Zero

app.py

@@ -1,21 +1,19 @@
 import gradio as gr
-from transformers import GPT2LMHeadModel, GPT2Tokenizer
-import pandas as pd
-import torch
-from torch.utils.data import Dataset, random_split
-from transformers import GPT2Tokenizer, TrainingArguments, Trainer, GPT2LMHeadModel
+import openthaigpt
+demo = gr.Blocks()
 
-pretrained_name = "kobkrit/openthaigpt-gpt2-instructgpt-poc-0.0.4"
+def gen(input):
+    return openthaigpt.generate(input)
 
-tokenizer = GPT2Tokenizer.from_pretrained(pretrained_name, bos_token='<|startoftext|>',unk_token='<|unk|>', eos_token='<|endoftext|>', pad_token='<|pad|>')
-model = GPT2LMHeadModel.from_pretrained(pretrained_name).cuda()
-model.resize_token_embeddings(len(tokenizer))
+def zero(input):
+    return openthaigpt.zero(input)
 
-def gen(input):
-    generated = tokenizer("<|startoftext|>"+input, return_tensors="pt").input_ids.cuda()
-    output = model.generate(generated, top_k=50, num_beams=5, no_repeat_ngram_size=2, 
-        early_stopping=True, max_length=300, top_p=0.95, temperature=1.9)
-    return tokenizer.decode(output[0], skip_special_tokens=True)
+with demo:
+    gr.Markdown("OpenThaiGPT version 0.0.10")
+    with gr.Tabs():
+        with gr.TabItem("Generate"):
+            gr.Interface(fn=gen, inputs=gr.Textbox(lines=3, label="Input Prompt", value="Q: อยากลดความอ้วน ทำอย่างไร\n\nA:"), outputs="text")
+        with gr.TabItem("Zero (GPT Check)"):
+            gr.Interface(fn=zero, inputs=gr.Textbox(lines=3, label="Input Text", value="การลดน้ำหนักเป็นเรื่องที่ต้องพิจารณาอย่างละเอียดและรอบคอบเพื่อให้ได้ผลลัพธ์ที่ดีและมีประสิทธิภาพมากที่สุด"), outputs="text")
 
-demo = gr.Interface(fn=gen, inputs=gr.Textbox(lines=3, label="Input Text", value="Q: อยากลดความอ้วน ทำอย่างไร\n\nA:"), outputs="text")
 demo.launch()   

requirements.txt

@@ -1,4 +1 @@
-transformers[sentencepiece]
-datasets
-#--extra-index-url https://download.pytorch.org/whl/cpu
-torch==1.13.1
+openthaigpt