Training in progress, epoch 1

README.md

@@ -19,11 +19,11 @@ should probably proofread and complete it, then remove this comment. -->
 
 This model is a fine-tuned version of [LazarusNLP/IndoNanoT5-base](https://huggingface.co/LazarusNLP/IndoNanoT5-base) on an unknown dataset.
 It achieves the following results on the evaluation set:
-- Loss: 0.7342
-- Rouge1: 0.4659
+- Loss: 0.5103
+- Rouge1: 0.4427
 - Rouge2: 0.0
-- Rougel: 0.4632
-- Rougelsum: 0.4636
+- Rougel: 0.4423
+- Rougelsum: 0.4403
 - Gen Len: 1.0
 
 ## Model description
@@ -43,9 +43,9 @@ More information needed
 ### Training hyperparameters
 
 The following hyperparameters were used during training:
-- learning_rate: 0.001
-- train_batch_size: 16
-- eval_batch_size: 32
+- learning_rate: 5e-05
+- train_batch_size: 4
+- eval_batch_size: 8
 - seed: 42
 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
 - lr_scheduler_type: linear
@@ -53,18 +53,18 @@ The following hyperparameters were used during training:
 
 ### Training results
 
-| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
-|:-------------:|:-----:|:----:|:---------------:|:------:|:------:|:------:|:---------:|:-------:|
-| 1.1936        | 1.0   | 892  | 0.7944          | 0.7769 | 0.0    | 0.7776 | 0.7776    | 1.0     |
-| 0.678         | 2.0   | 1784 | 0.6952          | 0.7516 | 0.0    | 0.7464 | 0.7488    | 1.0     |
-| 0.4823        | 3.0   | 2676 | 0.6426          | 0.752  | 0.0    | 0.7509 | 0.7499    | 1.0     |
-| 0.3348        | 4.0   | 3568 | 0.6651          | 0.7449 | 0.0    | 0.7455 | 0.7449    | 1.0     |
-| 0.1967        | 5.0   | 4460 | 0.7342          | 0.7526 | 0.0    | 0.7508 | 0.7516    | 1.0     |
+| Training Loss | Epoch | Step  | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
+|:-------------:|:-----:|:-----:|:---------------:|:------:|:------:|:------:|:---------:|:-------:|
+| 0.6316        | 1.0   | 3566  | 0.4807          | 0.4602 | 0.0    | 0.4604 | 0.4565    | 1.0     |
+| 0.4336        | 2.0   | 7132  | 0.4717          | 0.4661 | 0.0    | 0.466  | 0.4622    | 1.0     |
+| 0.3363        | 3.0   | 10698 | 0.4723          | 0.4799 | 0.0    | 0.479  | 0.4762    | 1.0     |
+| 0.2656        | 4.0   | 14264 | 0.4825          | 0.4713 | 0.0    | 0.4703 | 0.4666    | 1.0     |
+| 0.219         | 5.0   | 17830 | 0.5103          | 0.4427 | 0.0    | 0.4423 | 0.4403    | 1.0     |
 
 
 ### Framework versions
 
 - Transformers 4.40.2
-- Pytorch 2.3.1+cu121
-- Datasets 2.20.0
+- Pytorch 2.3.0+cu121
+- Datasets 2.19.1
 - Tokenizers 0.19.1

all_results.json

@@ -1,29 +1,29 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.7342413067817688,
-    "eval_rouge1": 0.4659,
+    "eval_loss": 0.5102769732475281,
+    "eval_rouge1": 0.4427,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.4632,
-    "eval_rougeLsum": 0.4636,
-    "eval_runtime": 399.2752,
+    "eval_rougeL": 0.4423,
+    "eval_rougeLsum": 0.4403,
+    "eval_runtime": 336.8915,
     "eval_samples": 749,
-    "eval_samples_per_second": 1.876,
-    "eval_steps_per_second": 0.06,
+    "eval_samples_per_second": 2.223,
+    "eval_steps_per_second": 0.279,
     "predict_gen_len": 1.0,
-    "predict_loss": 0.729216992855072,
-    "predict_rouge1": 0.4016,
+    "predict_loss": 0.5186858773231506,
+    "predict_rouge1": 0.3965,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.4015,
-    "predict_rougeLsum": 0.4005,
-    "predict_runtime": 2151.1543,
+    "predict_rougeL": 0.3973,
+    "predict_rougeLsum": 0.395,
+    "predict_runtime": 1676.8581,
     "predict_samples": 3762,
-    "predict_samples_per_second": 1.749,
-    "predict_steps_per_second": 0.055,
-    "total_flos": 4.883347058982912e+16,
-    "train_loss": 0.5770811448717331,
-    "train_runtime": 4315.4414,
+    "predict_samples_per_second": 2.243,
+    "predict_steps_per_second": 0.281,
+    "total_flos": 6.531382403512013e+16,
+    "train_loss": 0.37723224017303175,
+    "train_runtime": 9322.5764,
     "train_samples": 14263,
-    "train_samples_per_second": 16.526,
-    "train_steps_per_second": 1.033
+    "train_samples_per_second": 7.65,
+    "train_steps_per_second": 1.913
 }

config.json

@@ -7,7 +7,7 @@
     "fusions": {}
   },
   "architectures": [
-    "T5ForConditionalGeneration"
+    "T5AdapterModel"
   ],
   "classifier_dropout": 0.0,
   "d_ff": 2048,
@@ -18,9 +18,11 @@
   "dropout_rate": 0.1,
   "eos_token_id": 1,
   "feed_forward_proj": "gated-gelu",
+  "id2label": null,
   "initializer_factor": 1.0,
   "is_encoder_decoder": true,
   "is_gated_act": true,
+  "label2id": null,
   "layer_norm_epsilon": 1e-06,
   "model_type": "t5",
   "num_decoder_layers": 12,
@@ -28,6 +30,18 @@
   "num_layers": 12,
   "output_past": true,
   "pad_token_id": 0,
+  "prediction_heads": {
+    "default": {
+      "activation_function": null,
+      "bias": false,
+      "head_type": "seq2seq_lm",
+      "label2id": null,
+      "layer_norm": false,
+      "layers": 1,
+      "shift_labels": false,
+      "vocab_size": 32128
+    }
+  },
   "relative_attention_max_distance": 128,
   "relative_attention_num_buckets": 32,
   "tie_word_embeddings": false,

eval_results.json

@@ -1,13 +1,13 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.7342413067817688,
-    "eval_rouge1": 0.4659,
+    "eval_loss": 0.5102769732475281,
+    "eval_rouge1": 0.4427,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.4632,
-    "eval_rougeLsum": 0.4636,
-    "eval_runtime": 399.2752,
+    "eval_rougeL": 0.4423,
+    "eval_rougeLsum": 0.4403,
+    "eval_runtime": 336.8915,
     "eval_samples": 749,
-    "eval_samples_per_second": 1.876,
-    "eval_steps_per_second": 0.06
+    "eval_samples_per_second": 2.223,
+    "eval_steps_per_second": 0.279
 }

generated_predictions.txt

@@ -1,5 +1,5 @@
 memiliki
-satu
+tersebut
 sudah
 a
 lebih
@@ -8,65 +8,65 @@ judi
 dalam
 1
 bisnis
-slot
+5
 yang
 lebih
 atau
 hal
 menjadi
-tidak
-satu
+karena
+sudah
 nya
 1
 dari
-.
+telah
 
-?
+bagi
 
 "
-harus
-saya
-baik
+cara
+tahun
+hanya
 an
-saja
+7
 anda
-bisa
-atau
-bisa
+ada
+an
+:
 karena
 menggunakan
 sudah
-e
+.
 secara
 
 (
 "
-cara
-pada
+a
+membuat
 ?
 d
 
-oleh
--
-seperti
-beberapa
+tersebut
+sudah
+4
+kita
 atau
 dapat
-banyak
+judi
 1
 a
-dengan
-yang
+baik
+kan
 oleh
 1
-uang
+maka
 adalah
 ke
 dan
 seperti
 
 cara
-memiliki
+hanya
 )
 dengan
 
@@ -74,35 +74,35 @@ atau
 d
 kan
 
-bahwa
-ingin
+mereka
+bagi
 :
 ada
-e
-poker
+tidak
+judi
 orang
-satu
+nya
 dapat
-a
-5
-secara
+6
+?
+beberapa
 
 adalah
 akan
 e
-sebagai
+para
 dalam
 1
 
 
 lebih
-kami
-/
+hanya
+
 kita
-.
+hal
 kami
-tersebut
-,
+bisa
+ingin
 sudah
 
 di
@@ -110,45 +110,45 @@ ada
 4
 saat
 harus
-sebagai
+9
 dengan
 dengan
-online
+1
 )
 kita
-8
+(
 tidak
-a
+7
 dengan
 ,
 dengan
-anda
+(
 -
-kita
+saat
 game
 juga
 k
-saat
+dan
 nya
-sangat
-karena
+-
+permainan
 ,
 dengan
-rumah
+masih
 saya
-dan
+harus
 a
 pemain
 dan
-dari
+satu
 satu
 ada
 oleh
-karena
+0
 harus
 hanya
 dapat
-5
+
 memiliki
 3
 
@@ -156,16 +156,16 @@ ada
 2
 itu
 nya
-saja
-bisa
+kami
+anda
 -
 hanya
 online
 hanya
 seperti
 atau
-saya
-kami
+orang
+membuat
 kami
 karena
 di
@@ -173,107 +173,107 @@ di
 d
 satu
 yang
-baik
-nya
+membuat
+orang
 sudah
 lebih
 4
-
-(
+ini
+di
 
 menggunakan
 kami
-itu
-membuat
+adalah
+"
 untuk
 atau
-baik
+7
 saya
-bahwa
-memiliki
-
-8
-5
+e
+jika
+6
+saat
+.
 seperti
-0
-dalam
+untuk
+pada
 
 anda
-/
+apa
 
 online
-anda
+2
 atau
 lebih
 ini
-tersebut
+a
 telah
 
 -
-dari
+nya
 memiliki
-orang
+untuk
 sudah
 1
-7
+ke
 2
 ke
-di
+
 saat
-dari
+di
 
-seperti
-sangat
+tidak
+bahwa
 memiliki
 namun
-melakukan
+dari
 secara
 0
-seperti
+?
 namun
 indonesia
 a
 lain
-kita
-anda
+di
+a
 anda
 adalah
-bisa
+terbaik
 dan
 saat
 indonesia
 anda
-1
-a
+saja
+juga
 4
 kamu
 .
-para
+bisa
 permainan
 7
 yang
 anda
 1
 dan
-indonesia
+situs
 tidak
+seperti
 2
-2
-menjadi
-e
+)
+tersebut
 (
 4
-8
+atau
 ini
 ,
 .
-
+3
 .
 memiliki
 yang
-juga
+kami
 akan
-membuat
+8
 ,
 ,
 4
@@ -282,103 +282,103 @@ menjadi
 5
 
 banyak
-yang
+di
 adalah
 sudah
 ada
 kita
 harus
-t
+oleh
 itu
 untuk
 o
 di
 membuat
 jika
-cara
+seperti
 harus
 hal
 yang
 ada
-
+semua
 2
 )
 ,
 ada
-mendapatkan
+n
 dapat
 e
 tidak
-tersebut
+sangat
 
 9
 
 dalam
 oleh
 
-1
+indonesia
 kamu
 bisa
 mereka
-hal
+atau
 1
-8
+
 atau
-oleh
-indonesia
-beberapa
+banyak
+0
+judi
 menjadi
 :
 1
-semua
 t
+dapat
 pada
 2
-saat
+1
 i
-harus
-,
-kamu
+(
+kan
+bermain
 ini
-dengan
+bahwa
 dapat
 
 
 
-i
+tidak
 untuk
-3
+atau
 9
 atau
-satu
+semua
 untuk
-(
-kita
-jika
-menggunakan
+/
+cara
+menjadi
+salah
 4
-,
-dapat
+besar
+memiliki
 tentang
 membuat
 akan
 ,
-anda
 indonesia
+bahwa
 secara
-lebih
+kamu
 hanya
 2
 dengan
 kamu
 
 yang
-orang
+karena
 :
 online
-bermain
+indonesia
 bisa
-mereka
+,
 adalah
 situs
 ada
@@ -386,24 +386,24 @@ juga
 saat
 sudah
 "
-dapat
+
 ke
 dengan
 4
-secara
+3
 
 anda
 untuk
 s
 saya
 sudah
-t
+saja
 
-bisa
+bahwa
 pada
 .
 kami
-r
+/
 yang
 membuat
 
@@ -414,12 +414,12 @@ saat
 nya
 judi
 dan
-sangat
-permainan
+saat
+bisa
 atau
 dengan
-lebih
 8
+terbaik
 banyak
 3
 kamu
@@ -428,36 +428,36 @@ akan
 memiliki
 saya
 salah
-juga
-ada
 5
+ada
+menjadi
 itu
 .
 /
 kamu
 yang
 
-akan
-akan
+2
+bermain
 adalah
-t
-6
+2
+terbaik
 itu
-lain
+u
 8
-memiliki
+situs
 9
 0
-kan
+ada
 dalam
-besar
+hal
 
 ,
-1
+semua
 
 nya
 yang
-permainan
+game
 besar
 8
 m
@@ -467,32 +467,32 @@ mereka
 ada
 9
 (
-lebih
+e
 nya
-oleh
+judi
 ,
 jika
 dan
 membuat
-itu
+sebagai
 0
 dapat
 situs
-:
+dapat
 saat
 uang
 2
 
-orang
+lebih
 saja
-sangat
+hanya
 3
+saya
 dan
-dan
-6
+m
 yang
 ,
-kan
+t
 ,
 yang
 kita
@@ -500,110 +500,110 @@ oleh
 harus
 .
 
-4
+memiliki
 online
 9
 judi
-adalah
+s
 ,
 mudah
-t
-dengan
-cara
+a
+untuk
+online
 9
 saja
 oleh
-tidak
+e
 dapat
-judi
+permainan
 tidak
 5
-dengan
+oleh
 situs
-hanya
+"
 0
-s
-permainan
-dalam
+besar
+secara
+anda
 0
 8
 hal
 dari
-beberapa
+,
 
-mereka
+6
 yang
 mereka
 3
 itu
-sebagai
+beberapa
 untuk
 kami
 sangat
 tidak
 kami
-kamu
+ini
 -
-lebih
+ini
 
-k
+permainan
 
 menjadi
 4
 i
-uang
+u
 saya
 )
 5
-maka
+para
 dan
 3
 salah
-untuk
+tahun
 
 9
 saat
 :
-hanya
+saja
 sebagai
 bermain
 pada
-.
+8
 juga
 juga
 lebih
-pada
-banyak
-atau
+
+seperti
+itu
 dalam
-ke
-orang
-poker
+lebih
+judi
+atau
 pada
 ,
-an
-bisa
+i
+ke
 atau
 satu
-lebih
+atau
 semua
-kan
-u
+oleh
+judi
 k
 
-menggunakan
-2
+bermain
+
 pada
 jika
 kan
 e
-kami
+3
 ,
 e
-situs
+bahwa
 atau
 kita
-ada
+nya
 ini
 "
 yang
@@ -614,39 +614,39 @@ oleh
 atau
 tidak
 saja
-saat
+0
 "
 membuat
--
-8
-lebih
+saya
+5
+"
 pada
-tersebut
-4
-bahwa
-telah
+oleh
+judi
+sudah
+beberapa
 itu
 7
-ini
+membuat
 a
 4
-a
+saja
 oleh
-game
 membuat
+ini
 para
+,
 )
-
 online
-:
-itu
+,
+?
 hal
 )
 /
-judi
+i
 hal
 jika
-beberapa
+bahwa
 a
 indonesia
 juga
@@ -656,33 +656,33 @@ karena
 tidak
 .
 dari
-sudah
+
 hal
 
 i
-uang
+cara
 dari
 kami
-pada
+.
 ,
 orang
 s
-t
+an
 akan
 1
 hanya
-1
+bermain
 0
-anda
+harus
 untuk
-)
+?
 dalam
-/
+banyak
 dengan
-indonesia
-bahwa
+bermain
+orang
 adalah
-i
+k
 
 s
 untuk
@@ -696,25 +696,25 @@ adalah
 sudah
 adalah
 saat
-:
-0
+(
+k
 tidak
 salah
 satu
-s
+indonesia
 pada
 .
 ini
-"
+saja
 online
-sebagai
+telah
 nya
 dari
 judi
 
-8
+4
 kita
-,
+k
 d
 :
 
@@ -722,108 +722,108 @@ d
 menggunakan
 t
 adalah
-jika
+online
 -
 semua
-tidak
-sudah
+nya
+i
 hal
-telah
+
 1
 k
 )
 kamu
 menjadi
-0
+
 mereka
 tersebut
 5
-i
-atau
+membuat
+akan
 .
 juga
 -
 .
 sudah
-sudah
+/
 di
-9
-memiliki
+atau
+"
 hanya
-apa
+semua
 itu
-dalam
+tidak
 ?
 anda
 k
 untuk
 dalam
--
-t
-karena
+0
+k
+hanya
 s
 dalam
 
-satu
+cara
 :
 adalah
 2
-anda
+n
 untuk
 
 ada
 sudah
-dapat
-1
+judi
+di
 i
-.
+
 6
-ingin
+s
 kita
-tersebut
-adalah
-:
-7
+5
+dapat
+memiliki
+secara
 "
 dapat
-bagi
+bahwa
 salah
 yang
 :
-maka
+tersebut
 ke
 di
 cara
-sudah
+kamu
 .
-hal
+1
 permainan
-9
+membuat
 r
-an
+4
 0
 sangat
-bisa
+hal
 pada
 6
 
 )
-jika
+ke
 bermain
-kami
+kan
 di
 untuk
 
 tidak
 
-sudah
+ada
 an
 dalam
 yang
 game
 tersebut
-besar
-n
+mereka
+dari
 k
 
 6
@@ -834,20 +834,20 @@ a
 4
 lebih
 salah
-/
+lebih
 yang
 e
-0
+pada
 kita
 anda
 indonesia
 juga
-7
-tidak
-
-.
+banyak
+mereka
 
-jika
+akan
+beberapa
+u
 tersebut
 (
 :
@@ -856,39 +856,39 @@ tersebut
 yang
 
 satu
-o
+–
 tidak
 dalam
 e
-saya
-anda
+9
+
 3
 ke
-8
-tersebut
-.
-
-sebagai
+seperti
+dan
+hanya
+tahun
+dapat
 akan
-hari
+baru
 kamu
-dengan
+
 anda
 anda
 dengan
 tersebut
-permainan
+sudah
 online
 lebih
 atau
 2
 ?
 dengan
-,
+saja
 di
 
-adalah
-an
+
+saya
 dari
 i
 bahwa
@@ -902,8 +902,8 @@ juga
 7
 bisa
 game
-lebih
-kamu
+dapat
+o
 yang
 dari
 banyak
@@ -914,29 +914,29 @@ permainan
 
 semua
 dari
-dari
-:
+anda
+telah
 salah
 maka
 bermain
-mereka
+banyak
 cara
-aplikasi
+dalam
 9
-sangat
+tersebut
 "
 ada
 maka
 di
-bagi
+adalah
 2
 ,
 lebih
 memiliki
-tidak
+akan
 .
 tidak
-dan
+
 atau
 ini
 
@@ -944,15 +944,15 @@ dalam
 kita
 saat
 lebih
-memiliki
+3
 oleh
 ,
-s
+1
 u
-7
-e
+
+dalam
 )
-online
+banyak
 s
 banyak
 ini
@@ -960,13 +960,13 @@ anda
 nya
 1
 harus
-pada
-ingin
+dalam
+anda
 untuk
 dan
-beberapa
+secara
 itu
-atau
+ada
 ada
 saya
 juga
@@ -980,18 +980,18 @@ tidak
 tersebut
 
 sudah
-d
+para
 7
-akan
+:
 harus
 untuk
 anda
 itu
-8
+hal
 ini
 (
 dengan
-slot
+.
 ini
 cara
 atau
@@ -1003,12 +1003,12 @@ saat
 3
 saja
 dengan
-jika
+menggunakan
 orang
 besar
 saya
 0
-semua
+besar
 sudah
 karena
 
@@ -1017,147 +1017,147 @@ banyak
 yang
 untuk
 2
-sangat
+e
 dapat
 cara
 i
-bisa
+saya
 online
 
 u
-kami
+saja
 
 ini
-sebagai
+salah
 dan
 itu
-besar
+4
 .
 -
 online
-membuat
+bermain
 nya
 sangat
-1
+anda
 bahwa
 kan
 atau
 membuat
-bisa
-0
+kan
+judi
 u
-hanya
+an
 mudah
 sebagai
 yang
-ada
+karena
 anda
 ?
-dengan
-
+dalam
+adalah
 /
 kan
-bisa
+6
 juga
-anda
+dengan
 secara
 membuat
 ini
 tersebut
 tersebut
-i
-itu
+nya
+dapat
 satu
-,
-1
-situs
-kan
-jika
 bagi
+1
+oleh
+bahwa
+-
+nya
 untuk
-kita
+memiliki
 hanya
-/
-slot
+8
+mendapatkan
 7
-(
-tidak
+dan
+baik
 3
 dalam
-0
+lain
 sudah
-secara
+
 ada
 
 sangat
-satu
+atau
 namun
-,
+satu
 0
-adalah
-baik
+juga
+u
 0
 anda
 dan
 kan
 pemain
 anda
-3
+itu
 i
 ,
 seperti
 nya
-kita
-banyak
-cara
+slot
+maka
+8
 harus
 8
 bahwa
 dengan
-karena
-sangat
+cara
+9
 untuk
-memiliki
-atau
+)
+tersebut
 dalam
 uang
-
+dari
 dengan
 banyak
 "
 pada
 anda
-?
+para
 .
-saja
+tidak
 ke
 situs
-"
+u
 an
-
+,
 oleh
-?
+cara
 an
 
-atau
+dan
 apa
-membuat
-mereka
-bisa
+menjadi
+atau
+"
 anda
-waktu
+m
 judi
 dapat
 :
-akan
+salah
 -
 online
 /
 memiliki
 karena
-waktu
-hanya
-pemain
+o
+mungkin
+mudah
 2
 
 .
@@ -1167,25 +1167,25 @@ menggunakan
 oleh
 k
 
-adalah
+2
 satu
 tersebut
 itu
-sudah
-bisnis
+yang
+o
 adalah
-salah
+seperti
 oleh
 baik
 bisa
 itu
-lebih
+sudah
 bisa
-judi
-8
+anda
+ini
 
 m
-pada
+ini
 .
 untuk
 atau
@@ -1194,104 +1194,104 @@ juga
 lebih
 d
 2
-hal
-beberapa
+kamu
+dan
 
 1
 banyak
 t
-dapat
-saja
+3
+dengan
 0
-mereka
+menggunakan
 salah
-.
-5
+memiliki
+saat
 i
 judi
-.
 
+k
 untuk
-kamu
+3
 bahwa
 tersebut
 pada
 yang
 1
-bisa
+dengan
 dalam
-
-oleh
+dan
+harus
 .
 
 dari
 online
 ada
-hari
+8
 untuk
 tidak
 dalam
 
-lain
+para
 dengan
-jika
-judi
+5
+sudah
 membuat
 oleh
 saat
 salah
-di
-akan
+
+0
 di
 ingin
 oleh
 sudah
 hanya
-.
+tersebut
 menjadi
-pada
+-
 bisa
 itu
 u
-s
+untuk
 terbaik
-kan
+hanya
 
 akan
-jika
+salah
 dengan
 9
 )
 karena
-ingin
+bisnis
 akan
 t
 kita
 adalah
 
 r
-satu
+3
 memiliki
 -
 e
 kami
-indonesia
+akan
 dengan
 karena
 pada
-lain
-s
-akan
-ke
-beberapa
+baik
+ada
+dalam
+jika
+
 i
-situs
+2
 t
 (
 besar
-p
-yang
-
+melakukan
+seperti
+dapat
 untuk
 3
 dapat
@@ -1302,51 +1302,51 @@ namun
 "
 
 sudah
-:
+e
 ke
 dan
 saja
 ini
 0
-bahwa
-3
+i
+salah
 akan
 n
-jika
-sudah
-saat
+permainan
+orang
+i
 6
 yang
 bahwa
 banyak
 untuk
-.
-dan
+judi
+?
 satu
-a
-4
+baik
+situs
 bisa
-kamu
-t
+dari
+a
 bermain
-sangat
-?
+s
+ini
 memiliki
-untuk
+permainan
 ini
 atau
 1
-.
+i
 e
 kita
 -
 lebih
 lebih
-0
-tersebut
--
-harus
-tentang
+jika
+9
+7
+online
+
 maka
 mereka
 ,
@@ -1354,25 +1354,25 @@ anda
 tersebut
 tidak
 saja
-menggunakan
+kan
 ,
 di
 s
 pada
-u
+saja
 baik
 8
-sebagai
+situs
 bisa
-dari
 
+semua
 saya
-sangat
-saja
+.
+memiliki
 mereka
 bisa
 u
-namun
+menggunakan
 adalah
 sangat
 salah
@@ -1385,51 +1385,51 @@ dapat
 satu
 di
 .
-sebagai
-akan
+/
+satu
 bahwa
 yang
-situs
+di
 akan
 4
 melakukan
-secara
+9
 .
 dalam
-
+lain
 mereka
 menjadi
 cara
 3
 0
 adalah
-online
-besar
+mereka
+salah
 ,
 1
 
-situs
-.
+s
+(
 tidak
 nya
 ada
 -
-karena
+an
 seperti
-untuk
+waktu
 dengan
 tidak
-.
+adalah
 3
 mereka
-kita
+t
 4
 dengan
 ini
 ke
-permainan
+baik
 
-saat
+tersebut
 dalam
 bisa
 1
@@ -1439,95 +1439,95 @@ banyak
 sangat
 adalah
 saya
-?
+tidak
 dalam
 anda
 dalam
 dari
-0
+tersebut
 dalam
-ada
-kami
-memiliki
+dengan
+membuat
+e
 dengan
 1
 8
 t
-bisa
+dalam
 i
-7
-juga
+atau
+dapat
 akan
 0
 seperti
-3
+oleh
 dengan
 pada
 
-jika
-6
+5
+oleh
 dalam
-0
+pada
 :
-adalah
+membuat
 bisa
 7
 ini
 juga
-ada
-apa
+k
+
 6
 dan
 untuk
-2
+
 i
 tidak
-saya
+.
 (
 tersebut
 ini
 /
 .
-kamu
+banyak
 itu
-besar
+nya
 setiap
 9
-slot
+hal
 
 
 kami
-d
-8
-/
-hari
+orang
+situs
+saat
+hanya
 itu
-di
-e
+dalam
+seperti
 satu
 ,
-
+,
 lebih
 
 hanya
 4
 online
-
+permainan
 nya
 karena
 8
-untuk
-kan
-hal
-)
-ini
+pemain
+satu
+an
+i
+tidak
 dari
 
-lebih
+karena
 dan
-menjadi
-u
-dapat
+oleh
+salah
+ke
 sudah
 hal
 adalah
@@ -1537,59 +1537,59 @@ banyak
 itu
 
 9
-kita
-6
-"
+menjadi
+3
+dan
 
 an
-telah
+t
 jadi
 seperti
-pemain
-bisa
+sudah
+u
 dari
-permainan
-hanya
+3
+?
 satu
 dengan
-seperti
-banyak
-0
-d
 adalah
+)
+dengan
+d
+saat
 hal
 anda
 p
 beberapa
 "
-online
+dalam
 akan
-kami
+hanya
 membuat
 ada
 
-dia
+para
 hanya
-mereka
+beberapa
 anda
 akan
 juga
 3
 anda
 adalah
-nya
+kami
 akan
-memiliki
+sangat
 2
 
-saya
+sebagai
 e
 
-baik
+cara
 akan
-baik
+?
 banyak
-indonesia
+:
 ke
 
 0
@@ -1600,39 +1600,39 @@ dari
 cara
 0
 dengan
-beberapa
+orang
 lebih
 8
 s
-g
+-
 untuk
 sangat
-judi
+situs
 8
-dari
-u
+orang
+6
 bisa
 harga
 bahwa
 untuk
 yang
 -
-dalam
+bisa
 
 hal
 sebagai
 yang
 sangat
 yang
-
-membuat
+hanya
+an
 atau
 menggunakan
 .
-menjadi
+saja
 setiap
 
-seperti
+k
 pada
 memiliki
 tidak
@@ -1642,110 +1642,110 @@ kamu
 sebagai
 online
 dengan
-bahwa
-saja
-3
+menjadi
+sangat
+:
 0
 
 karena
-tahun
-untuk
+baik
+"
 a
-masih
-?
-ini
+d
+hanya
+itu
 tidak
 ,
 baik
 saya
 tahun
-jadi
+bisa
 kami
 sebagai
-ini
+dalam
 namun
 menjadi
-adalah
-3
-.
+untuk
+7
+bagi
 ini
 i
 besar
-ketika
+2
 e
 atau
-4
+atau
 1
 bisnis
 dengan
 ,
-hanya
+a
 ini
 bisa
 untuk
-para
+t
 anda
 lebih
 /
 yang
 ini
-beberapa
-)
+secara
+tidak
 bahwa
 sangat
 besar
 saat
 ini
 nya
-bisa
+bagi
 d
-u
-
+4
+ke
 pemain
-dan
+kami
 hal
 bisa
-secara
+sudah
 sebagai
 telah
-atau
+dengan
 mudah
 
 di
 yang
 (
 atau
-hanya
+
 saja
 dengan
 menjadi
-sangat
+harus
 
 semua
-saja
+kan
 :
-mereka
+semua
 8
 slot
-indonesia
-9
+8
+u
 oleh
-0
+
 ke
-semua
-untuk
+ini
+memiliki
 k
-lebih
-dapat
+e
+1
 jika
-pada
+.
 adalah
-seperti
-7
+bahwa
+i
 e
 juga
 juga
-9
+memiliki
 anda
 ada
 cara
@@ -1753,27 +1753,27 @@ bisa
 ada
 menjadi
 atau
-saat
+8
 judi
 menjadi
 e
 dan
 situs
-)
+saja
 lebih
 kita
 ada
 
 yang
-baik
+semua
 hanya
 yang
-ada
-mendapatkan
+karena
+ke
 pada
 7
-dalam
-7
+tahun
+t
 anda
 judi
 tersebut
@@ -1781,7 +1781,7 @@ tersebut
 beberapa
 jika
 sebagai
-dan
+atau
 semua
 tidak
 situs
@@ -1793,7 +1793,7 @@ itu
 
 6
 s
-8
+-
 "
 kita
 )
@@ -1802,172 +1802,172 @@ e
 o
 online
 dan
-
-di
-atau
+hal
+"
+banyak
 (
 e
 /
 bagi
-tahun
-dan
-9
+di
+ini
+online
 ini
 2
 n
-beberapa
+slot
 
 online
 8
-jika
+ke
 satu
 karena
 tidak
 dengan
 dari
-
+terbaik
 hal
 ke
-telah
-akan
-k
+,
+6
+di
 
 harus
-bermain
-saat
-an
+di
+:
+kami
 untuk
 5
 ke
-kamu
-orang
+sangat
+5
 oleh
 bisa
-untuk
-dapat
+besar
+6
 hanya
 dari
-an
+9
 dengan
 akan
-mereka
-pada
+1
+6
 memiliki
 -
-menggunakan
-2
+
+s
 pada
 9
 e
-memiliki
+7
 atau
 .
 0
 kamu
 .
-/
+ke
 adalah
 adalah
 
-3
+menjadi
 a
 judi
 ini
 di
-bisa
-adalah
+bermain
+pada
 salah
 lebih
-untuk
+permainan
 saja
-sangat
+6
 di
 bisa
 8
 dalam
 :
 an
-permainan
+secara
 mereka
 k
-sebagai
-saja
+salah
+poker
 dan
-situs
-sudah
-indonesia
+hanya
+orang
+ada
 lebih
 
 online
 tersebut
-:
+dapat
 itu
-k
+sangat
 ini
-1
+tidak
 harus
-"
-s
+dengan
+6
 di
 .
 tidak
-secara
-d
-uang
-3
+.
+2
+saja
+harus
 9
 
-3
+baik
 k
 jika
-dapat
-5
+lebih
+jika
 pada
 banyak
 nya
 i
 
-2
-membuat
+di
+hanya
 itu
 tidak
-bahwa
-bahwa
+juga
+kami
 itu
 oleh
 adalah
 cara
-dari
-di
+maka
+untuk
 -
 adalah
 tahun
 1
 ?
-d
+mereka
 -
 kan
-"
+hanya
 menggunakan
-untuk
-ini
+dan
+satu
 ,
 di
 juga
 akan
-maka
-8
-lain
+ke
+kami
+atau
 hanya
 hal
 :
-tahun
-mereka
+seperti
+cara
 :
 e
 seperti
-di
-a
+
+hanya
 harus
 tidak
 i
@@ -1975,70 +1975,70 @@ hal
 saya
 di
 online
-lebih
-slot
-dari
+permainan
+kan
+ada
 ?
 anda
 
 .
 online
-sudah
-i
-permainan
-an
+(
+apa
+membuat
+ini
 an
 akan
 saja
 sudah
-?
+adalah
 /
-melakukan
+bagi
 /
 kan
 banyak
-sudah
-harus
-bisa
+tersebut
+lain
+di
 dengan
 orang
 ada
-
+(
 kita
 lain
 
 karena
 i
 tidak
-oleh
-baik
+untuk
+9
 harus
-saya
-online
+u
+ini
 0
-online
+baik
 dan
-para
+uang
 
 kamu
 r
 saya
-melakukan
-itu
+para
 itu
+maka
 sebagai
-/
+atau
 yang
-.
+besar
 s
-,
+hal
 ini
 kan
 e
 yang
-baik
+ini
 dengan
-2
+3
 mereka
 dapat
 online
@@ -2048,10 +2048,10 @@ permainan
 nya
 2
 dan
-online
+bisa
 4
-7
-/
+kan
+mereka
 .
 9
 dari
@@ -2059,12 +2059,12 @@ dari
 untuk
 /
 tidak
-d
+saya
 i
 anda
-mereka
+situs
 :
-para
+di
 saja
 dengan
 bisa
@@ -2078,23 +2078,23 @@ banyak
 
 yang
 situs
-
+(
 di
 judi
-3
+akan
 dengan
 lebih
 (
-d
-nya
+situs
+hanya
 a
 3
-maka
+s
 nya
 situs
 yang
 9
-oleh
+menjadi
 
 "
 harus
@@ -2106,179 +2106,179 @@ indonesia
 menggunakan
 
 ,
-an
+4
 akan
 situs
 )
 .
 saya
-bisa
-1
-dari
+juga
 1
+bahwa
+apa
 /
 untuk
 yang
-perlu
+tidak
 atau
 bermain
-cara
-akan
+saat
 akan
+4
 )
 :
 kamu
 yang
 dan
-menjadi
+seperti
 
-ingin
+jadi
 
 )
 harga
 e
 tahun
-lain
+sudah
 an
 hal
 adalah
-online
-lebih
-saja
+kamu
+saat
+judi
 kami
 tidak
-dapat
-harus
+banyak
 
-:
+
+yang
 dan
-hal
+k
 8
 a
-6
-ini
-
+pada
+membuat
+slot
 s
-yang
+di
 6
 0
 ini
-(
-tidak
-kami
+karena
+dalam
+maka
 saya
-satu
+jika
 lebih
 situs
-bisa
+untuk
 dapat
-n
+sudah
 online
-
+karena
 r
 ini
 permainan
 ini
-poker
-
+secara
+di
 harus
 terbaik
 saat
 nya
 saja
 -
-salah
+a
 anda
 a
 kami
 akan
-g
+
 game
-dan
-membuat
+saya
+a
 
 0
 
 orang
 game
 membuat
+
 untuk
-untuk
-judi
-semua
+?
+pada
 pada
 
-:
+8
 u
 beberapa
 ini
 (
-memiliki
+sudah
 /
 dengan
 d
-i
-lain
+6
+besar
 online
 akan
 yang
 :
 juga
-u
-kan
+9
+"
 memiliki
-judi
-.
+permainan
+beberapa
 di
 juga
-a
+di
 mereka
 akan
 ke
 
 /
 situs
-permainan
+untuk
 2
-s
+bermain
 yang
 sebagai
 cara
 kami
-mereka
-ini
+baik
+harus
 ini
-5
-seperti
+ke
+untuk
 adalah
 saya
 slot
-lebih
+bisa
 0
 harus
 1
 bermain
-satu
-3
-orang
+?
+tidak
+karena
 dan
 3
 beberapa
-u
+
 a
 memiliki
 dan
 k
-indonesia
+8
 4
--
+waktu
 di
 ,
 bahwa
 tersebut
-dalam
+i
 ?
-dilakukan
+itu
 saat
 harus
 s
@@ -2289,23 +2289,23 @@ dari
 pada
 ,
 judi
-dari
+4
 8
 (
 indonesia
-"
-banyak
+online
+?
 indonesia
-bisa
-d
+s
+harus
 .
 0
 2
 lebih
-
-nya
-
-kita
+ada
+waktu
+saya
+poker
 /
 e
 di
@@ -2313,55 +2313,55 @@ di
 
 bermain
 menjadi
-(
+saya
 jika
-untuk
+,
 maka
-d
-seperti
+apa
+harus
 .
-dari
+kamu
 kami
 e
-dapat
-yang
+nya
+membuat
 .
 sebagai
-mungkin
+tahun
 tidak
 sudah
-kami
-e
-uang
+2
+2
+maka
 0
 6
 )
 di
 
 adalah
-menjadi
-t
+sudah
+4
 
-apa
+adalah
 lebih
 dengan
-banyak
+
 lebih
 dapat
-maka
+indonesia
 0
 nya
 akan
-2
+jadi
 banyak
 jika
-akan
+di
 saja
 hanya
-
+menjadi
 beberapa
 
-hanya
+bahwa
 dengan
 banyak
 menjadi
@@ -2369,93 +2369,93 @@ seperti
 tersebut
 -
 i
-saat
+(
 satu
 dapat
 -
 di
-secara
+judi
 a
 ?
 besar
 juga
 kita
-6
+pemain
 1
 4
 t
-menjadi
-yang
 maka
 yang
+situs
+yang
 karena
 indonesia
-di
+bisa
 lebih
 dalam
 ada
 untuk
-dan
+1
 5
 dan
 hal
-banyak
+kita
 4
 
 itu
 judi
--
+?
 secara
 adalah
 bisa
 jika
-satu
+indonesia
 d
 2
-"
+kan
 ke
 sangat
 harus
 hal
 0
-lebih
+mereka
 )
 9
-i
+5
 situs
-cara
+3
 harus
 i
 5
-saja
+untuk
 hal
 dan
 seperti
 anda
 ingin
-juga
-yang
+sebagai
+atau
 
-"
+3
 nya
-4
-harus
-permainan
+judi
+oleh
+kamu
 .
-orang
-secara
+bermain
+ini
 6
-sudah
+jika
 salah
-saja
+saat
 2
 
 memiliki
-sebagai
+7
 anda
 namun
 t
-)
+ke
 akan
 e
 dari
@@ -2464,124 +2464,124 @@ s
 dan
 atau
 oleh
-kita
-i
-ini
-,
+/
+akan
+judi
+an
 :
 
 
 slot
 saja
-hanya
+u
 ini
-8
+itu
 dapat
-:
+satu
 oleh
 judi
 1
-orang
+ini
 telah
 
 memiliki
-kamu
-menjadi
+kita
+jika
 -
 mereka
 satu
-2
+di
 0
 1
 /
 e
-juga
+dan
 sudah
 dalam
-ke
-
-saya
-kami
+3
+.
+"
+saja
 besar
 
 ini
 i
 banyak
-
-permainan
+slot
+saja
 memiliki
 dapat
 4
 maka
 
 ini
-sebagai
+6
 0
-dengan
+yang
 ke
 1
 nya
 bisa
 tidak
 hal
-sebagai
+hal
 t
-an
+0
 
-banyak
+orang
 judi
-besar
-dalam
+baru
+pada
 -
-satu
-bagi
+tersebut
+a
 1
-saat
+salah
 di
 4
-karena
+sangat
 akan
 
-beberapa
-seperti
-itu
-9
 k
+seperti
+juga
+indonesia
+menggunakan
 dan
 dan
 atau
-memiliki
+:
 bermain
 sebagai
-,
+d
 .
 an
-dengan
+menggunakan
 juga
 -
 ,
-e
+situs
 anda
 bisa
 kita
-kamu
+dengan
 sudah
 mereka
 situs
-saat
-pemain
+0
+baru
 8
 itu
-bisa
-0
-waktu
+permainan
+pada
+membuat
 sangat
-1
+nya
 saat
 6
 .
-indonesia
-,
+u
+k
 adalah
 -
 dengan
@@ -2589,14 +2589,14 @@ u
 u
 adalah
 orang
-mudah
-secara
+pemain
+tersebut
 bahwa
 u
 anda
 pada
 sangat
-tersebut
+sangat
 4
 :
 tersebut
@@ -2605,67 +2605,67 @@ jika
 saya
 hanya
 beberapa
-,
+(
 juga
-beberapa
+1
 9
 itu
-kamu
+mudah
 2
 2
-saja
-.
-an
+9
+dan
+hal
 online
-dengan
+
 pada
 ,
 
-orang
-d
+satu
+satu
 banyak
-
+)
 namun
-bahwa
+e
 judi
 
 
 cara
 nya
-s
+"
 u
 satu
 dalam
 bisa
 dan
-atau
+saya
 dan
-sudah
+7
+
 
-situs
 yang
 -
 akan
-anda
-6
+.
+dan
 akan
 untuk
-kamu
+melakukan
 u
 sangat
-kan
+?
 maka
 karena
 saat
-adalah
-memiliki
+beberapa
+online
 yang
 akan
--
+game
 )
 9
 
-3
+mereka
 2
 ada
 uang
@@ -2673,34 +2673,34 @@ uang
 t
 nya
 ini
-para
+melakukan
 game
 itu
-i
+di
 memiliki
-sebagai
+anda
 orang
 atau
 1
 juga
 anda
-oleh
-t
-kita
-situs
-hanya
-tidak
-tidak
+s
+membuat
+an
+,
 
+an
+tidak
+,
 oleh
-dan
+bahwa
 
 )
 di
-6
-dan
+d
+juga
 lebih
-memiliki
+8
 karena
 indonesia
 juga
@@ -2709,71 +2709,71 @@ jika
 para
 :
 ke
-cara
+maka
 semua
 dari
 untuk
 hanya
 situs
-dengan
+bermain
 banyak
 juga
 lain
-beberapa
+untuk
 "
 u
 untuk
-dapat
-kita
-a
+-
+sebagai
+t
 karena
-pada
+:
 /
-.
+yang
 situs
 hal
 indonesia
 -
 menjadi
-
+judi
 
 poker
-melakukan
-anda
-orang
+dalam
+dengan
+sudah
 poker
 anda
 jika
 ini
-memiliki
-kan
-tetapi
-di
-a
+cara
+menjadi
+7
+menjadi
+an
 2
 dengan
 dalam
-.
--
+pada
+7
 (
-8
+e
 -
 
 u
 ada
 baik
 sangat
-bisa
-dengan
-m
-online
-itu
+u
+t
+indonesia
+
+itu
 permainan
 ke
 ini
 anda
 
-tersebut
+dari
 )
 situs
 karena
@@ -2785,96 +2785,96 @@ i
 pada
 untuk
 "
-saja
+9
 di
-6
-ini
+"
+dengan
 salah
 e
 itu
 :
 akan
 1
-orang
+cara
 mereka
 maka
-tahun
-/
+bisnis
+kami
 2
 lebih
 satu
-bisa
+
 :
-saya
+-
 s
 maka
 itu
 i
 bahwa
-dalam
-d
+sangat
+t
 memiliki
 (
 .
-3
-seperti
+(
+i
 karena
 maka
-saja
+atau
 tersebut
 besar
-yang
+1
 karena
 -
 dari
 t
 cara
-1
+,
 online
 tidak
 dari
 s
-judi
+/
 s
-game
-menggunakan
+?
+sangat
 ,
-tersebut
+beberapa
 5
 kami
-seperti
+bahwa
 kita
-baik
+besar
 besar
 ke
 saat
 itu
 dalam
-memiliki
+kita
 yang
-e
+sangat
 ini
-)
+namun
 sebagai
 mereka
 tahun
-anda
-secara
-6
+untuk
+permainan
+yang
 game
 8
 ?
 oleh
 kan
-8
+lebih
 akan
 akan
 menjadi
 )
 mereka
-ini
+an
 )
-dalam
+5
 ini
 sudah
 ?
@@ -2886,51 +2886,51 @@ dan
 seperti
 saja
 harus
-ingin
+kamu
 bahwa
-sangat
+8
 7
 dalam
 -
-itu
+online
 mereka
 ini
-lebih
+2
 sangat
 beberapa
 secara
 bermain
 9
-saya
+5
 juga
 harus
-beberapa
+hal
 ini
-a
+untuk
 ini
-nya
+
 ada
 dapat
-k
+game
 oleh
 di
-slot
+lain
 dan
 hal
-harus
+dalam
 .
 3
 apa
 memiliki
-masih
+mudah
 menjadi
 judi
 harus
-dan
-akan
+.
+semua
 sudah
 cara
-.
+uang
 sangat
 hal
 oleh
@@ -2940,64 +2940,64 @@ yang
 oleh
 secara
 ada
-secara
+slot
 kamu
-:
+dari
 hanya
 dari
 oleh
 di
-ada
+1
 membuat
 )
 membuat
-salah
-di
+(
+dapat
 atau
-s
+-
 
 karena
 bisnis
-poker
+a
 karena
 oleh
-?
+satu
 
-bahwa
+menjadi
 -
 memiliki
 hal
-anda
-itu
+"
+9
 bisa
 untuk
 "
 slot
 s
 juga
-kita
+atau
 dan
-:
+nya
 1
 harus
 9
 
 9
-s
+dengan
 banyak
-melakukan
-satu
-n
+lain
+sudah
+baru
 pada
-tersebut
-saat
-kamu
+karena
+hal
+dan
 s
-)
+mereka
 dalam
-lebih
+itu
 sudah
-kita
+saat
 orang
 untuk
 sebagai
@@ -3013,32 +3013,32 @@ dari
 
 kita
 banyak
-hanya
 judi
-an
+judi
+harus
 /
-d
+kan
 kita
 
-itu
+bisa
 juga
 dan
-lebih
+anda
 atau
 
 e
 
 dalam
-dalam
+2
 
 satu
 lebih
 adalah
 saya
-pada
-sebagai
-saat
-yang
+1
+saya
+poker
+d
 9
 hal
 ke
@@ -3046,7 +3046,7 @@ ke
 
 (
 nya
-sangat
+dapat
 oleh
 "
 -
@@ -3056,8 +3056,8 @@ yang
 saja
 ,
 4
-besar
-waktu
+jika
+
 secara
 0
 bagi
@@ -3065,69 +3065,69 @@ lebih
 dengan
 di
 dengan
-judi
+beberapa
 seperti
-1
-sudah
+situs
+jika
 anda
 dari
 saat
 (
 orang
 d
-para
+ingin
 .
-atau
+bahwa
 situs
 
 kamu
 seperti
-itu
+satu
 ada
 untuk
 atau
-secara
-game
+anda
+dan
 tersebut
 /
 itu
 7
-hal
+membuat
 0
 
-tidak
+(
 8
-memiliki
+saat
 karena
 yang
 uang
-yang
-kami
+menggunakan
+judi
 /
 online
 2
-tidak
-s
-4
+uang
+dan
+membuat
 online
 7
-satu
-an
+.
+sangat
 kan
 s
-hal
+ke
 tidak
 bisa
-harus
+anda
 ,
-i
+-
 8
-:
+kita
 .
-1
+0
 
 .
-beberapa
+sangat
 dan
 dengan
 sebagai
@@ -3135,25 +3135,25 @@ melakukan
 uang
 hanya
 seperti
-0
+akan
 online
-s
-sangat
-cara
+itu
+e
+melakukan
 an
 i
 1
 juga
-tidak
+bisa
 -
-tidak
+game
 lebih
 
-karena
+d
 e
-situs
+kami
 saat
-dengan
+dan
 dalam
 sebagai
 secara
@@ -3162,36 +3162,36 @@ anda
 lebih
 bisa
 ini
-kamu
+saja
 5
 bisa
-hal
+tersebut
 di
 
 2
 8
-?
-
+e
+.
 dengan
 i
 atau
 semua
 3
 lebih
-5
-5
-di
+dapat
+seperti
+dapat
 
 
 dan
-jika
+saja
 anda
 yang
-tahun
+secara
 ada
 akan
 untuk
-seperti
+saja
 ini
 (
 1
@@ -3205,139 +3205,139 @@ karena
 dalam
 kita
 ?
-adalah
-hanya
-"
-saya
 itu
-bisa
-0
-apa
+sebagai
+pada
+an
+e
+(
+9
+adalah
 s
 tersebut
-sebagai
+memiliki
 i
 an
-a
-salah
+2
+bahwa
 kamu
 t
 .
 di
 baik
-
+ini
 karena
 a
-melakukan
-sebagai
-dan
-lebih
+beberapa
+maka
+/
+poker
 situs
 saat
-uang
-.
+namun
+lain
 itu
 
 akan
 .
 slot
-anda
-atau
+7
+s
 ada
 t
-hanya
+bahwa
 kan
-5
-atau
+anda
+saja
 8
-
+untuk
 orang
-3
+mereka
 juga
-e
-ini
+
+dan
 nya
 -
 untuk
 an
 dalam
 online
-dan
+kami
 game
 ini
-di
-e
+juga
+hanya
 9
 permainan
 
-nya
+akan
 kamu
-sudah
-hanya
+saya
+an
 
 dapat
 9
-(
+juga
 
 "
 kami
-harus
+para
 poker
 menjadi
 kita
-situs
+nya
 1
 5
 yang
 
 menjadi
-"
+
 0
 dapat
 maka
 nya
 dari
-
+s
 i
 k
 -
 satu
-cara
+0
 melakukan
 )
 0
 ke
-i
+(
 2
 5
-orang
+itu
 
 nya
 atau
-/
+"
 akan
-untuk
-tersebut
+banyak
+a
 atau
 
 (
 kami
-(
-jika
+seperti
+lebih
 dan
 tidak
 juga
 4
-3
+2
 dari
-permainan
+situs
 ,
-anda
+
 menjadi
-menggunakan
+besar
 lebih
-
-s
+bisa
+d
 (
 cara
 bisa
@@ -3345,17 +3345,17 @@ karena
 k
 kan
 indonesia
-2
-"
-indonesia
+itu
+1
+kami
 .
 judi
-s
+o
 kamu
 9
 orang
 saja
-karena
+nya
 bermain
 d
 )
@@ -3363,95 +3363,95 @@ d
 seperti
 atau
 yang
-lebih
+(
 bisa
 sangat
 
-slot
+melakukan
 
 secara
-pada
+1
 3
 beberapa
 para
 permainan
-harus
-untuk
+bermain
+i
 dari
-di
-salah
+karena
+saya
 u
 t
 online
 hal
-9
+itu
 online
 itu
 satu
 ada
 bisa
-satu
-4
-kan
-4
-beberapa
-dapat
-ke
-adalah
-ini
-hanya
+kita
+.
+kami
+bahwa
 k
-an
+online
+yang
+"
+ini
+anda
+kan
+kami
 :
-saya
+/
 0
-1
+dan
 kita
 -
 tidak
-kan
-m
+k
+uang
 ada
 maka
 .
-
-6
+)
+,
 8
-7
-mendapatkan
+baik
+sudah
 ,
-nya
+memiliki
 dalam
 1
-,
+ada
 
 
-semua
-bisa
+game
+juga
 0
 ,
 e
 
-7
+ini
 poker
-ada
-memiliki
+ke
+cara
 tidak
 banyak
 apa
 cara
-poker
-nya
+bahwa
+di
 hal
 kami
 ,
-seperti
+karena
 -
 seperti
-7
-kamu
+baik
+1
 
-t
+jika
 8
 ini
 menjadi
@@ -3460,30 +3460,30 @@ anda
 k
 kami
 adalah
-hal
+an
 dan
-kita
-0
+u
+/
 hanya
 t
-9
+8
 apa
 online
 sebagai
 di
-slot
+lebih
 0
-2
+
 anda
 yang
 nya
 kan
-banyak
+-
 tidak
 hal
 karena
-baik
-lebih
+membuat
+
 0
 dan
 (
@@ -3494,81 +3494,81 @@ karena
 4
 atau
 seperti
-seperti
+oleh
 memiliki
-kami
+
 dalam
 membuat
-itu
-yang
+besar
+tahun
 ,
-online
+ke
 s
 4
 situs
 adalah
 orang
-sudah
-di
+lain
+nya
 adalah
-dalam
+-
 kamu
 poker
 ,
-kan
+besar
 0
 salah
 tidak
 dapat
 lebih
-bagi
-kami
+para
+judi
 sangat
-t
-tak
-kami
+/
+4
+besar
 akan
 yang
 t
 .
-u
+k
 "
 secara
-tersebut
+oleh
 anda
 (
 secara
-para
+bahwa
 -
 
-di
+dan
 memiliki
 sebagai
 tersebut
 1
-bahwa
+s
 saat
 1
 (
 dari
 ada
-a
-2
 ini
+2
+beberapa
 orang
 9
-dalam
-0
+pemain
+situs
 
-tidak
+saya
 juga
 situs
 beberapa
-k
-9
-poker
+kamu
+m
+nya
 p
-ketika
+terbaik
 untuk
 9
 lain
@@ -3580,56 +3580,56 @@ untuk
 dan
 juga
 ,
-bahwa
-salah
+an
+untuk
 tidak
-)
+-
 yang
 harus
-membuat
+judi
 harus
 apa
-5
+seperti
 nya
 lebih
 sebagai
-
-kamu
+hanya
 kamu
+di
 judi
 1
-bahwa
+lebih
 saya
 ini
 menjadi
-sangat
+harus
 ini
 orang
 dalam
-,
-/
+a
+banyak
 (
-6
-tahun
-/
+"
+slot
+mereka
 pada
 jika
 dengan
-sebagai
+bahwa
 sangat
-"
+seperti
 ke
 
-satu
-saat
+itu
+karena
 atau
 dan
 atau
-bermain
+waktu
 (
-,
-indonesia
-memiliki
+cara
+permainan
+sudah
 k
 dari
 sudah
@@ -3640,123 +3640,122 @@ atau
 ada
 dengan
 
-menggunakan
-akan
 menjadi
+akan
+m
 anda
-adalah
+nya
 ada
 dapat
 situs
 bisa
 2
 dari
-t
+dan
 mereka
-besar
+/
 dapat
 yang
-menjadi
+7
 di
-cara
+9
 
-dengan
-s
+untuk
+3
 /
 1
 kamu
-harus
-?
+/
+baik
 nya
 judi
 dan
 
-bahwa
-menjadi
+saat
+p
 pada
 
-ada
+secara
 ada
 2
-kan
-para
+baik
+namun
 pada
 i
 dalam
 u
-poker
-karena
-permainan
+telah
+saya
+4
 nya
 s
-game
+dengan
 dengan
 
 seperti
 para
-kamu
+an
 di
 
 sudah
-maka
-setiap
+beberapa
+hal
 online
 sudah
 anda
-tersebut
-sangat
+ini
+anda
 sudah
 an
 nya
 kita
-nya
+
 judi
 an
 memiliki
 yang
-.
+a
 kita
 4
 1
-slot
+semua
 anda
-bisa
+tersebut
+apa
 
-dengan
 
 orang
 sebagai
 orang
-bahwa
+an
 ini
 dapat
 orang
 
-t
-hanya
+indonesia
+salah
 tersebut
-kita
+satu
 "
 pada
 seperti
 sudah
 
-1
+an
 mungkin
 -
 dan
-4
+semua
 ,
-)
+oleh
 saya
-judi
+9
 permainan
-oleh
+akan
 saya
 9
 untuk
 2
 menggunakan
-sebagai
+hanya
 
-2

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e08b8f504aa80d983c72183695dae4ed4f7110684a2f126da6aa918dc1fbe065
-size 990345064
+oid sha256:386b35c5e608003bd13401f3a1b12ac13247521625fb3b27f43f567e357c4c50
+size 990348536

predict_results.json

@@ -1,12 +1,12 @@
 {
     "predict_gen_len": 1.0,
-    "predict_loss": 0.729216992855072,
-    "predict_rouge1": 0.4016,
+    "predict_loss": 0.5186858773231506,
+    "predict_rouge1": 0.3965,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.4015,
-    "predict_rougeLsum": 0.4005,
-    "predict_runtime": 2151.1543,
+    "predict_rougeL": 0.3973,
+    "predict_rougeLsum": 0.395,
+    "predict_runtime": 1676.8581,
     "predict_samples": 3762,
-    "predict_samples_per_second": 1.749,
-    "predict_steps_per_second": 0.055
+    "predict_samples_per_second": 2.243,
+    "predict_steps_per_second": 0.281
 }

train_results.json

@@ -1,9 +1,9 @@
 {
     "epoch": 5.0,
-    "total_flos": 4.883347058982912e+16,
-    "train_loss": 0.5770811448717331,
-    "train_runtime": 4315.4414,
+    "total_flos": 6.531382403512013e+16,
+    "train_loss": 0.37723224017303175,
+    "train_runtime": 9322.5764,
     "train_samples": 14263,
-    "train_samples_per_second": 16.526,
-    "train_steps_per_second": 1.033
+    "train_samples_per_second": 7.65,
+    "train_steps_per_second": 1.913
 }

trainer_state.json

@@ -3,128 +3,128 @@
   "best_model_checkpoint": null,
   "epoch": 5.0,
   "eval_steps": 500,
-  "global_step": 4460,
+  "global_step": 17830,
   "is_hyper_param_search": false,
   "is_local_process_zero": true,
   "is_world_process_zero": true,
   "log_history": [
     {
       "epoch": 1.0,
-      "grad_norm": 1.1466261148452759,
-      "learning_rate": 0.0008,
-      "loss": 1.1936,
-      "step": 892
+      "grad_norm": 2.377143144607544,
+      "learning_rate": 4e-05,
+      "loss": 0.6316,
+      "step": 3566
     },
     {
       "epoch": 1.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.7944247126579285,
-      "eval_rouge1": 0.7769,
+      "eval_loss": 0.48070013523101807,
+      "eval_rouge1": 0.4602,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7776,
-      "eval_rougeLsum": 0.7776,
-      "eval_runtime": 34.2455,
-      "eval_samples_per_second": 21.871,
-      "eval_steps_per_second": 0.701,
-      "step": 892
+      "eval_rougeL": 0.4604,
+      "eval_rougeLsum": 0.4565,
+      "eval_runtime": 339.8998,
+      "eval_samples_per_second": 2.204,
+      "eval_steps_per_second": 0.277,
+      "step": 3566
     },
     {
       "epoch": 2.0,
-      "grad_norm": 0.6689993739128113,
-      "learning_rate": 0.0006,
-      "loss": 0.678,
-      "step": 1784
+      "grad_norm": 3.1111056804656982,
+      "learning_rate": 3e-05,
+      "loss": 0.4336,
+      "step": 7132
     },
     {
       "epoch": 2.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.6952247023582458,
-      "eval_rouge1": 0.7516,
+      "eval_loss": 0.47169604897499084,
+      "eval_rouge1": 0.4661,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7464,
-      "eval_rougeLsum": 0.7488,
-      "eval_runtime": 34.3119,
-      "eval_samples_per_second": 21.829,
-      "eval_steps_per_second": 0.699,
-      "step": 1784
+      "eval_rougeL": 0.466,
+      "eval_rougeLsum": 0.4622,
+      "eval_runtime": 338.0027,
+      "eval_samples_per_second": 2.216,
+      "eval_steps_per_second": 0.278,
+      "step": 7132
     },
     {
       "epoch": 3.0,
-      "grad_norm": 0.6889210939407349,
-      "learning_rate": 0.0004,
-      "loss": 0.4823,
-      "step": 2676
+      "grad_norm": 1.34107506275177,
+      "learning_rate": 2e-05,
+      "loss": 0.3363,
+      "step": 10698
     },
     {
       "epoch": 3.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.6426491141319275,
-      "eval_rouge1": 0.752,
+      "eval_loss": 0.4722852408885956,
+      "eval_rouge1": 0.4799,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7509,
-      "eval_rougeLsum": 0.7499,
-      "eval_runtime": 35.0834,
-      "eval_samples_per_second": 21.349,
-      "eval_steps_per_second": 0.684,
-      "step": 2676
+      "eval_rougeL": 0.479,
+      "eval_rougeLsum": 0.4762,
+      "eval_runtime": 338.8999,
+      "eval_samples_per_second": 2.21,
+      "eval_steps_per_second": 0.277,
+      "step": 10698
     },
     {
       "epoch": 4.0,
-      "grad_norm": 0.6657813191413879,
-      "learning_rate": 0.0002,
-      "loss": 0.3348,
-      "step": 3568
+      "grad_norm": 2.9266836643218994,
+      "learning_rate": 1e-05,
+      "loss": 0.2656,
+      "step": 14264
     },
     {
       "epoch": 4.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.665139377117157,
-      "eval_rouge1": 0.7449,
+      "eval_loss": 0.48245567083358765,
+      "eval_rouge1": 0.4713,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7455,
-      "eval_rougeLsum": 0.7449,
-      "eval_runtime": 36.0479,
-      "eval_samples_per_second": 20.778,
-      "eval_steps_per_second": 0.666,
-      "step": 3568
+      "eval_rougeL": 0.4703,
+      "eval_rougeLsum": 0.4666,
+      "eval_runtime": 340.0086,
+      "eval_samples_per_second": 2.203,
+      "eval_steps_per_second": 0.276,
+      "step": 14264
     },
     {
       "epoch": 5.0,
-      "grad_norm": 0.4766407012939453,
+      "grad_norm": 0.7729974389076233,
       "learning_rate": 0.0,
-      "loss": 0.1967,
-      "step": 4460
+      "loss": 0.219,
+      "step": 17830
     },
     {
       "epoch": 5.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.7342413067817688,
-      "eval_rouge1": 0.7526,
+      "eval_loss": 0.5102769732475281,
+      "eval_rouge1": 0.4427,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7508,
-      "eval_rougeLsum": 0.7516,
-      "eval_runtime": 35.5667,
-      "eval_samples_per_second": 21.059,
-      "eval_steps_per_second": 0.675,
-      "step": 4460
+      "eval_rougeL": 0.4423,
+      "eval_rougeLsum": 0.4403,
+      "eval_runtime": 336.8192,
+      "eval_samples_per_second": 2.224,
+      "eval_steps_per_second": 0.279,
+      "step": 17830
     },
     {
       "epoch": 5.0,
-      "step": 4460,
-      "total_flos": 4.883347058982912e+16,
-      "train_loss": 0.5770811448717331,
-      "train_runtime": 4315.4414,
-      "train_samples_per_second": 16.526,
-      "train_steps_per_second": 1.033
+      "step": 17830,
+      "total_flos": 6.531382403512013e+16,
+      "train_loss": 0.37723224017303175,
+      "train_runtime": 9322.5764,
+      "train_samples_per_second": 7.65,
+      "train_steps_per_second": 1.913
     }
   ],
   "logging_steps": 500,
-  "max_steps": 4460,
+  "max_steps": 17830,
   "num_input_tokens_seen": 0,
   "num_train_epochs": 5,
   "save_steps": 500,
-  "total_flos": 4.883347058982912e+16,
-  "train_batch_size": 16,
+  "total_flos": 6.531382403512013e+16,
+  "train_batch_size": 4,
   "trial_name": null,
   "trial_params": null
 }

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:dd4d74ac4cc91fc3e453f4300d4691201b10bc01f5a2f0b497e6d770624801c3
+oid sha256:65f3b3b3b2bf1790b6d0b73238e930799e5bdd1f3f28dcbb5decc23e53d2df1a
 size 5176