Update app.py

app.py

@@ -62,6 +62,14 @@ llm_model = None
 
 def trans(text):
     text = "こんにちは"
+    input_text = f"<2ja>{text}".encode('utf-8')
+    tokens = llm.tokenize(input_text)
+    print("Tokens:", tokens)
+    print(llama_model_decoder_start_token())
+    initial_tokens = [llm.decoder_start_token()]
+    print("Initial Tokens:", initial_tokens)
+    return text
+    
 
     # テキストに言語タグを付与し、バイト列に変換
     input_text = f"<2ja>{text}".encode('utf-8')