Update Model.py

Model.py

@@ -58,7 +58,7 @@ def ids_to_text(ids):
     return sp.decode(ids)
 
 # ⬇️ 전처리 하이퍼파라미터
-max_len = 100
+max_len = 230
 batch_size = 128
 
 # ⬇️ 인풋과 타겟 마스킹 포함된 전처리
@@ -270,9 +270,9 @@ class Block(layers.Layer):
 class ReLaM(tf.keras.Model):
     def __init__(self, vocab_size, max_seq_len, d_model, n_layers, dropout_rate=0.1):
         super().__init__()
-        self.token_embedding = layers.Embedding(vocab_size, d_model)
+        self.token_embedding = layers.Embedding(vocab_size, 128)
         self.pos_embedding = layers.Embedding(max_seq_len, d_model)
-        self.blocks = [Block(d_model, hyper_n=3) for _ in range(n_layers)]
+        self.blocks = [Block(d_model, hyper_n=1) for _ in range(n_layers)]
 
         # LayerNormalization은 float32로 해서 정밀도 문제 방지
         self.ln_f = layers.LayerNormalization(epsilon=1e-5, dtype="float32")