Update app.py

app.py

@@ -62,6 +62,28 @@ llm_model = None
 
 def trans(text):
     text = "こんにちは"
+    
+    # テキストに言語タグを付与し、バイト列に変換
+    input_text = f"<2ja>{text}".encode('utf-8')
+    
+    # トークナイズ
+    tokens = llm.tokenize(input_text)
+    print("Tokens:", tokens)
+    
+    # BOSトークンを使用（デコーダーのみのモデルを想定）
+    initial_tokens = [llm.token_bos()]
+    
+    # 生成
+    buf = ""
+    for token in llm.generate(initial_tokens, top_p=0.95, temperature=0.0, repetition_penalty=1.0):
+        decoded = llm.detokenize([token]).decode('utf-8', errors='ignore')
+        buf += decoded
+        if token == llm.token_eos():
+            break
+    
+    return buf
+    
+    
     input_text = f"<2ja>{text}".encode('utf-8')
     tokens = llm.tokenize(input_text)
     print("Tokens:", tokens)