End of training

README.md

@@ -1,4 +1,6 @@
 ---
+language:
+- id
 license: apache-2.0
 base_model: LazarusNLP/IndoNanoT5-base
 tags:
@@ -18,10 +20,10 @@ should probably proofread and complete it, then remove this comment. -->
 This model is a fine-tuned version of [LazarusNLP/IndoNanoT5-base](https://huggingface.co/LazarusNLP/IndoNanoT5-base) on an unknown dataset.
 It achieves the following results on the evaluation set:
 - Loss: 0.4872
-- Rouge1: 0.6882
+- Rouge1: 0.4018
 - Rouge2: 0.0
-- Rougel: 0.6851
-- Rougelsum: 0.6829
+- Rougel: 0.3958
+- Rougelsum: 0.3983
 - Gen Len: 1.0
 
 ## Model description

all_results.json

@@ -1,29 +1,29 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.49971678853034973,
-    "eval_rouge1": 0.4108,
+    "eval_loss": 0.48721930384635925,
+    "eval_rouge1": 0.4018,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.4046,
-    "eval_rougeLsum": 0.4066,
-    "eval_runtime": 686.3296,
+    "eval_rougeL": 0.3958,
+    "eval_rougeLsum": 0.3983,
+    "eval_runtime": 522.3995,
     "eval_samples": 750,
-    "eval_samples_per_second": 1.093,
-    "eval_steps_per_second": 0.035,
+    "eval_samples_per_second": 1.436,
+    "eval_steps_per_second": 0.046,
     "predict_gen_len": 1.0,
-    "predict_loss": 0.5208343267440796,
-    "predict_rouge1": 0.4212,
+    "predict_loss": 0.5092278122901917,
+    "predict_rouge1": 0.4344,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.4226,
-    "predict_rougeLsum": 0.4201,
-    "predict_runtime": 3173.3184,
+    "predict_rougeL": 0.4345,
+    "predict_rougeLsum": 0.4334,
+    "predict_runtime": 2983.3553,
     "predict_samples": 3762,
-    "predict_samples_per_second": 1.186,
-    "predict_steps_per_second": 0.037,
-    "total_flos": 4.90238608932864e+16,
-    "train_loss": 0.6193654355446854,
-    "train_runtime": 3915.3347,
+    "predict_samples_per_second": 1.261,
+    "predict_steps_per_second": 0.04,
+    "total_flos": 4.921767498350592e+16,
+    "train_loss": 0.5867589565670543,
+    "train_runtime": 3933.0288,
     "train_samples": 14262,
-    "train_samples_per_second": 18.213,
-    "train_steps_per_second": 1.139
+    "train_samples_per_second": 18.131,
+    "train_steps_per_second": 1.134
 }

eval_results.json

@@ -1,13 +1,13 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.49971678853034973,
-    "eval_rouge1": 0.4108,
+    "eval_loss": 0.48721930384635925,
+    "eval_rouge1": 0.4018,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.4046,
-    "eval_rougeLsum": 0.4066,
-    "eval_runtime": 686.3296,
+    "eval_rougeL": 0.3958,
+    "eval_rougeLsum": 0.3983,
+    "eval_runtime": 522.3995,
     "eval_samples": 750,
-    "eval_samples_per_second": 1.093,
-    "eval_steps_per_second": 0.035
+    "eval_samples_per_second": 1.436,
+    "eval_steps_per_second": 0.046
 }

generated_predictions.txt

@@ -7,12 +7,12 @@ k
 adalah
 dan
 t
-
+membuat
 oleh
 sudah
 orang
 ada
-di
+adalah
 
 .
 harus
@@ -20,11 +20,11 @@ dan
 8
 juga
 
-6
+baik
 "
 judi
 adalah
-1
+,
 melakukan
 judi
 sendiri
@@ -34,7 +34,7 @@ dan
 bisa
 bagi
 judi
-tersebut
+saya
 karena
 mereka
 3
@@ -43,11 +43,11 @@ semua
 an
 -
 indonesia
-3
+sudah
 untuk
-seperti
+mereka
 situs
-dan
+
 9
 menjadi
 pada
@@ -55,14 +55,14 @@ ke
 dari
 sebuah
 jika
-sangat
-baik
+permainan
+t
 juga
 kami
 akan
-n
+indonesia
 jika
-sudah
+sebagai
 ada
 :
 1
@@ -77,7 +77,7 @@ dan
 .
 dalam
 )
-baru
+dari
 ini
 permainan
 t
@@ -88,7 +88,7 @@ pada
 banyak
 -
 membuat
-judi
+
 satu
 lain
 a
@@ -115,8 +115,8 @@ dari
 dari
 8
 dapat
-dan
-orang
+memiliki
+harus
 pada
 dalam
 s
@@ -125,8 +125,8 @@ bermain
 dari
 dan
 bisa
-7
-telah
+nya
+perlu
 dan
 dan
 mereka
@@ -137,13 +137,13 @@ kamu
 an
 dari
 dan
-lebih
+juga
 anda
-poker
+/
 -
 indonesia
-anda
-sangat
+maka
+atau
 indonesia
 lebih
 t
@@ -152,22 +152,22 @@ di
 jika
 5
 
-beberapa
-oleh
 atau
+oleh
+ini
 kita
-para
-sangat
+bisa
+tersebut
 seperti
 dan
 untuk
-,
+u
 saja
 kan
 menjadi
 di
 d
-hal
+ingin
 baik
 mereka
 jika
@@ -180,7 +180,7 @@ dalam
 nya
 
 (
-a
+untuk
 dengan
 beberapa
 1
@@ -190,7 +190,7 @@ dari
 saya
 1
 lain
--
+hal
 dan
 tersebut
 slot
@@ -198,8 +198,8 @@ online
 yang
 sudah
 
-seperti
-akan
+4
+dari
 para
 nya
 anda
@@ -207,45 +207,45 @@ anda
 dari
 .
 kita
-an
+
 (
-untuk
-k
+semua
+kan
 online
 cara
 
-nya
+atau
 di
 itu
 hal
 dan
-orang
+anda
 tersebut
-sangat
+harus
 -
 dapat
 1
 menggunakan
 anda
 adalah
-4
-kami
-n
+beberapa
+ke
+ada
 beberapa
 saat
 di
 kamu
 0
 
-d
+harus
 seperti
-bahwa
+o
 atau
 di
 
 1
 satu
-merupakan
+tentang
 tersebut
 menjadi
 di
@@ -256,9 +256,9 @@ cara
 untuk
 terbaik
 ada
-apa
+lain
 adalah
-ingin
+pemain
 ini
 beberapa
 yang
@@ -269,20 +269,20 @@ pada
 poker
 situs
 an
-saja
+salah
 untuk
 di
 atau
-harus
+hal
 untuk
 (
 i
 k
-an
+/
 juga
 dalam
 orang
-saat
+0
 beberapa
 online
 
@@ -291,7 +291,7 @@ membuat
 pada
 r
 tersebut
-d
+saya
 (
 dan
 situs
@@ -312,16 +312,16 @@ tersebut
 yang
 a
 kan
-sendiri
+ketika
 orang
 lebih
 nya
-m
+mendapatkan
 i
 -
 0
 dan
-i
+atau
 kami
 juga
 untuk
@@ -332,12 +332,12 @@ dapat
 4
 yang
 untuk
-di
+atau
 dengan
 
 di
 :
-yang
+ini
 juga
 banyak
 /
@@ -349,25 +349,25 @@ dan
 -
 4
 hal
-kami
+memiliki
 ini
 kami
 4
-saat
+e
 tidak
 sudah
-2
+0
 
 kami
 "
 hanya
 dalam
-judi
+bahwa
 banyak
 jika
 nya
 0
-permainan
+lebih
 sebagai
 bahwa
 itu
@@ -383,9 +383,9 @@ s
 0
 
 dan
-satu
-permainan
-i
+:
+kan
+kita
 juga
 :
 saat
@@ -410,19 +410,19 @@ maka
 
 permainan
 dalam
-dalam
+nya
 kita
-beberapa
-banyak
+
+t
 tidak
 karena
 1
-saya
+situs
 orang
 itu
-permainan
+dengan
 indonesia
-"
+hanya
 
 untuk
 anda
@@ -432,22 +432,22 @@ sudah
 adalah
 2
 dan
-sebagai
+sudah
 bermain
 permainan
 nya
-permainan
+dia
 ?
 u
 akan
-saya
+,
 situs
 dari
 akan
 :
 lebih
 
-?
+saja
 karena
 
 kan
@@ -458,7 +458,7 @@ dan
 karena
 dan
 bahwa
-s
+kamu
 bahwa
 dalam
 5
@@ -484,9 +484,9 @@ pada
 saya
 4
 satu
-tersebut
-/
-u
+e
+saat
+namun
 "
 banyak
 pemain
@@ -498,16 +498,16 @@ sangat
 dan
 situs
 s
-t
+indonesia
 anda
 ke
 yang
 harus
 7
 
-,
+judi
 dalam
-sangat
+beberapa
 2
 atau
 sangat
@@ -521,13 +521,13 @@ mereka
 
 online
 anda
-karena
+secara
 untuk
 yang
 waktu
 dapat
 tidak
-juga
+bisa
 dengan
 satu
 e
@@ -540,27 +540,27 @@ yang
 oleh
 menjadi
 sangat
-atau
+sangat
 ada
 
 mereka
 ke
 ada
-.
+di
 untuk
 
 besar
-bermain
-an
+tahun
+/
 cara
 bermain
 2
 anda
-bahwa
+0
 juga
-besar
+)
 hal
-t
+menjadi
 2
 ini
 5
@@ -572,7 +572,7 @@ yang
 ke
 indonesia
 dapat
-saja
+t
 orang
 dengan
 sudah
@@ -585,10 +585,10 @@ ada
 an
 menjadi
 4
-8
+seperti
 membuat
 membuat
-adalah
+itu
 bahwa
 
 saat
@@ -600,8 +600,8 @@ dan
 -
 mereka
 a
-u
-i
+semua
+hal
 k
 3
 slot
@@ -610,7 +610,7 @@ harus
 secara
 i
 lebih
-ingin
+dengan
 kami
 -
 "
@@ -619,7 +619,7 @@ anda
 .
 mereka
 karena
-6
+uang
 1
 anda
 sebagai
@@ -640,7 +640,7 @@ yang
 k
 saat
 
-harus
+kita
 telah
 dengan
 
@@ -650,12 +650,12 @@ dengan
 dari
 juga
 dapat
-3
+pada
 apa
-jadi
-indonesia
+poker
+mereka
 dapat
-(
+kan
 kita
 dalam
 dengan
@@ -663,11 +663,11 @@ bagi
 yang
 ,
 kamu
-(
+pada
 bisa
 9
 pemain
-
+hanya
 tidak
 yang
 sebagai
@@ -680,31 +680,31 @@ atau
 sudah
 
 tidak
-an
+
 dengan
 online
-memiliki
+i
 besar
 maka
 i
 atau
 adalah
-
+dalam
 dengan
 .
-u
+salah
 sudah
 satu
 
 orang
-slot
-online
+hanya
+dapat
 besar
-lain
+semua
 menggunakan
 adalah
 bahwa
-sudah
+dan
 yang
 baik
 bisnis
@@ -712,8 +712,8 @@ bisnis
 dengan
 orang
 di
-tidak
-banyak
+
+kami
 perlu
 ke
 .
@@ -735,22 +735,22 @@ menjadi
 yang
 anda
 dengan
-judi
+sangat
 mereka
 lebih
 secara
 membuat
 tahun
-p
+
 saya
-memiliki
+2
 di
 7
-harus
+saja
 
 (
 -
-a
+namun
 atau
 ,
 kami
@@ -762,8 +762,8 @@ membuat
 ada
 tidak
 dengan
-situs
-di
+/
+agar
 bermain
 lebih
 jika
@@ -778,18 +778,18 @@ dan
 2
 itu
 lain
-?
+pada
 banyak
 lebih
 k
-judi
+?
 kan
 anda
 ,
 menjadi
 akan
 ini
-di
+setelah
 mereka
 2
 dapat
@@ -798,7 +798,7 @@ cara
 untuk
 pada
 dan
-menjadi
+di
 sebagai
 yang
 
@@ -809,25 +809,25 @@ orang
 tidak
 
 kan
-situs
+an
 .
-satu
+m
 akan
-an
+itu
 dapat
 indonesia
 adalah
 yang
 beberapa
 .
-s
+9
 0
 ,
 satu
 
 tidak
 yang
-hal
+an
 
 game
 t
@@ -838,7 +838,7 @@ baik
 di
 tersebut
 mungkin
-situs
+e
 a
 tahun
 saja
@@ -859,11 +859,11 @@ situs
 kamu
 tahun
 nya
-1
+tidak
 kita
 banyak
 di
-jadi
+m
 di
 sebagai
 8
@@ -873,23 +873,23 @@ atau
 d
 -
 
-)
+,
 /
-kami
-indonesia
+"
+lebih
 lebih
 dalam
 untuk
 nya
 dan
 jika
-1
+dengan
 oleh
 ,
 ?
 s
 
-game
+)
 an
 pada
 
@@ -905,7 +905,7 @@ lebih
 anda
 hal
 akan
-game
+telah
 u
 untuk
 dapat
@@ -919,12 +919,12 @@ yang
 7
 u
 banyak
-a
+bisa
 yang
 a
 e
 :
-bermain
+seperti
 
 itu
 
@@ -932,8 +932,8 @@ melakukan
 ke
 tersebut
 
-lain
-8
+saat
+seperti
 akan
 salah
 oleh
@@ -949,8 +949,8 @@ saja
 salah
 )
 bisa
-harus
-situs
+9
+memiliki
 game
 online
 slot
@@ -969,34 +969,34 @@ untuk
 karena
 1
 8
-n
+lain
 slot
-yang
-sangat
+mungkin
+nya
 satu
 "
-semua
+mereka
 di
-setiap
+saat
 bisa
 ini
-kita
+.
 saja
 apa
 jika
 5
-t
+semua
 seperti
 untuk
 yang
-saja
-ke
+/
+itu
 memiliki
 4
 secara
 slot
 i
-ke
+nya
 jika
 lebih
 kamu
@@ -1004,20 +1004,20 @@ saya
 akan
 ini
 menjadi
-k
-menggunakan
+situs
+bermain
 dan
 saat
-saja
+di
 1
 juga
 salah
-dan
+adalah
 ini
 membuat
 kamu
 yang
-u
+.
 ke
 mendapatkan
 
@@ -1035,11 +1035,11 @@ saja
 baik
 an
 oleh
-dan
+oleh
 lebih
 indonesia
 adalah
-(
+9
 -
 
 hal
@@ -1050,11 +1050,11 @@ cara
 banyak
 memiliki
 0
-tidak
+5
 kamu
 game
 atau
-akan
+saya
 ini
 )
 telah
@@ -1062,20 +1062,20 @@ akan
 adalah
 bisa
 
-indonesia
+secara
 5
 :
-(
+semua
 itu
 sangat
 :
 dan
-sudah
+salah
 situs
 e
 
 indonesia
-k
+dengan
 :
 9
 ini
@@ -1085,12 +1085,12 @@ anda
 untuk
 di
 
-7
+besar
 online
 ketika
 pada
 an
-kita
+mereka
 an
 mudah
 .
@@ -1106,7 +1106,7 @@ kami
 hal
 telah
 
-situs
+d
 an
 dapat
 6
@@ -1121,11 +1121,11 @@ namun
 m
 
 juga
-
-semua
+1
+berbagai
 banyak
 bisa
-nya
+cara
 
 jika
 sebagai
@@ -1136,28 +1136,28 @@ sudah
 online
 indonesia
 ,
-tersebut
+ada
 kita
 banyak
-beberapa
+slot
 menjadi
 judi
 dan
 
 pada
-bisnis
+3
 ,
 
 untuk
 jika
-itu
+tersebut
 -
 kita
 
 poker
 besar
 membuat
-jadi
+cara
 bisa
 dan
 1
@@ -1176,9 +1176,9 @@ dan
 itu
 .
 )
--
+ini
 
-)
+menjadi
 oleh
 
 hal
@@ -1191,7 +1191,7 @@ bahwa
 secara
 cara
 itu
-tersebut
+ke
 judi
 p
 harus
@@ -1199,7 +1199,7 @@ di
 5
 yang
 seperti
-nya
+baik
 memiliki
 sangat
 
@@ -1212,7 +1212,7 @@ jika
 kami
 a
 ini
-(
+menjadi
 yang
 akan
 n
@@ -1229,8 +1229,8 @@ t
 masih
 dan
 ?
-hal
-kami
+"
+untuk
 saat
 maka
 dari
@@ -1238,7 +1238,7 @@ t
 .
 e
 permainan
-"
+5
 
 7
 
@@ -1256,7 +1256,7 @@ bermain
 ini
 an
 
-seperti
+t
 1
 ke
 akan
@@ -1264,7 +1264,7 @@ pada
 oleh
 untuk
 secara
-dan
+bermain
 "
 online
 di
@@ -1275,13 +1275,13 @@ di
 
 )
 judi
-banyak
+:
 oleh
 dari
 nya
 menjadi
 0
-.
+memiliki
 dia
 tidak
 0
@@ -1299,10 +1299,10 @@ dari
 maka
 salah
 online
-besar
+a
 saat
 sudah
-"
+/
 menggunakan
 dari
 jika
@@ -1323,21 +1323,21 @@ satu
 oleh
 saya
 beberapa
-slot
-yang
+memiliki
+online
 dengan
 banyak
 dan
 dapat
-semua
+namun
 .
-k
+?
 k
 harus
 
 6
-mereka
-tahun
+e
+besar
 
 situs
 seperti
@@ -1345,7 +1345,7 @@ seperti
 dari
 maka
 yang
-:
+,
 ,
 ?
 lebih
@@ -1373,7 +1373,7 @@ ada
 bahwa
 lebih
 anda
-d
+saja
 ini
 4
 mereka
@@ -1399,7 +1399,7 @@ kami
 lebih
 judi
 tersebut
-6
+menggunakan
 yang
 harus
 saja
@@ -1409,21 +1409,21 @@ cara
 ada
 nya
 adalah
-ada
+)
 beberapa
 sangat
 satu
-anda
+perlu
 ke
 hal
 sudah
 di
 maka
-mereka
+baik
 mereka
 dari
 secara
-6
+
 saat
 9
 (
@@ -1459,12 +1459,12 @@ juga
 harus
 seperti
 
-salah
+k
 (
 
 ,
 adalah
-beberapa
+t
 .
 
 secara
@@ -1476,26 +1476,26 @@ adalah
 online
 t
 nya
-7
+untuk
 telah
 -
 karena
 (
 memiliki
 adalah
-"
+satu
 membuat
 ,
 m
 indonesia
 nya
-harus
+saja
 t
 dalam
 .
 ini
 5
-juga
+sudah
 ini
 1
 s
@@ -1504,9 +1504,9 @@ hal
 :
 "
 sudah
-tersebut
+yang
 
-an
+bermain
 ,
 ,
 yang
@@ -1515,7 +1515,7 @@ yang
 ,
 -
 judi
-t
+anda
 atau
 
 kan
@@ -1523,30 +1523,30 @@ banyak
 hal
 semua
 dari
-harus
+salah
 s
 .
 dalam
 saya
 hanya
 dalam
-kami
+dalam
 "
 adalah
 anda
 :
-apa
+uang
 k
 karena
 ini
 (
-secara
+apa
 u
 0
 adalah
 dari
 yang
-9
+seperti
 judi
 di
 
@@ -1556,55 +1556,55 @@ o
 ,
 /
 (
-para
+jika
 bisa
 salah
 dapat
-1
+dari
 tidak
 adalah
-t
+semua
 d
 tidak
-nya
+adalah
 bisa
-indonesia
+(
 0
 satu
 dari
-atau
+tidak
 lain
-bagi
+melakukan
 poker
 yang
-nya
+e
 1
 seperti
 d
 saya
-adalah
+bagi
 .
 bisa
 satu
 (
 sebagai
 u
-dapat
+poker
 5
 mungkin
 bisa
-:
+sebagai
 ,
 .
 dalam
 memiliki
-secara
+)
 tidak
 k
 jadi
 besar
 yang
-nya
+adalah
 banyak
 dengan
 banyak
@@ -1640,7 +1640,7 @@ bermain
 t
 satu
 3
-,
+bisa
 menggunakan
 lain
 banyak
@@ -1658,7 +1658,7 @@ maka
 -
 telah
 online
-/
+judi
 atau
 satu
 dengan
@@ -1669,11 +1669,11 @@ bisa
 yang
 secara
 karena
-ada
+8
 yang
 yang
 .
-(
+online
 )
 karena
 0
@@ -1687,7 +1687,7 @@ tidak
 lebih
 judi
 saja
-6
+semua
 ?
 7
 a
@@ -1703,7 +1703,7 @@ ada
 2
 untuk
 dan
-poker
+bermain
 u
 sudah
 
@@ -1727,9 +1727,9 @@ cara
 waktu
 indonesia
 dan
-7
+tersebut
 itu
-pemain
+namun
 dan
 1
 online
@@ -1737,16 +1737,16 @@ semua
 
 ini
 saja
-tidak
-e
-ke
-nya
+para
+oleh
+-
+
 ke
-juga
-kan
+9
+7
 game
 karena
-yang
+bisa
 adalah
 0
 -
@@ -1756,8 +1756,8 @@ ada
 seperti
 saya
 0
-sendiri
-tidak
+lagi
+juga
 ada
 atau
 yang
@@ -1765,9 +1765,9 @@ online
 cara
 pada
 bahwa
-d
+7
 k
-situs
+hanya
 menjadi
 banyak
 bisa
@@ -1775,27 +1775,27 @@ pada
 jika
 (
 bisa
-bermain
-d
+beberapa
+?
 bahwa
-saat
+itu
 ke
 ada
 untuk
 dapat
-
+lebih
 ini
 untuk
 bahwa
 yang
 saja
 bisa
-bermain
+t
 waktu
-a
-s
+online
+cara
 juga
-situs
+6
 d
 karena
 dapat
@@ -1806,12 +1806,12 @@ ke
 saja
 atau
 -
-sangat
+judi
 atau
 indonesia
-online
+mereka
 1
-an
+
 dan
 5
 bisnis
@@ -1824,7 +1824,7 @@ beberapa
 saat
 "
 1
-–
+harga
 tersebut
 e
 "
@@ -1842,20 +1842,20 @@ anda
 dari
 apa
 3
-o
+terbaik
 
 nya
 salah
 membuat
 )
-bisnis
+
 pada
 t
 secara
 bagi
 bagi
 untuk
-kamu
+game
 juga
 
 .
@@ -1863,7 +1863,7 @@ juga
 sudah
 a
 dengan
-mereka
+(
 1
 tidak
 anda
@@ -1881,7 +1881,7 @@ membuat
 cara
 banyak
 salah
-e
+satu
 dan
 jika
 tidak
@@ -1891,8 +1891,8 @@ ke
 memiliki
 orang
 8
-
-saja
+k
+permainan
 7
 sudah
 cara
@@ -1905,16 +1905,16 @@ dengan
 cara
 sangat
 )
-9
+seperti
 atau
 di
 2
-(
+:
 sangat
 waktu
 ini
 dan
-kami
+
 dan
 harus
 di
@@ -1927,13 +1927,13 @@ harus
 harus
 seperti
 k
-saat
+(
 bermain
 di
 bisa
 dapat
 atau
-dalam
+yang
 dapat
 beberapa
 menggunakan
@@ -1946,7 +1946,7 @@ oleh
 saja
 kami
 dalam
-setelah
+bahwa
 3
 adalah
 d
@@ -1955,10 +1955,10 @@ mungkin
 yang
 anda
 .
-tersebut
-besar
-telah
-t
+pada
+ini
+membuat
+dalam
 dalam
 ke
 bermain
@@ -1970,42 +1970,42 @@ kami
 ,
 untuk
 beberapa
-lain
+sangat
 itu
 anda
 9
 menggunakan
 kami
--
-di
+adalah
+permainan
 sebagai
-7
+poker
 permainan
-menjadi
+karena
 bahwa
-kamu
+pada
 kita
 p
 untuk
 :
 baik
-hal
+bahwa
 salah
-/
-tidak
+s
+judi
 (
 memiliki
-9
+kan
 lebih
 judi
 sebagai
 baik
 atau
-saat
+semua
 dalam
 game
 .
-juga
+nya
 ini
 satu
 
@@ -2016,16 +2016,16 @@ dan
 lebih
 beberapa
 kamu
-saat
-)
+orang
+banyak
 baik
-a
+game
 mereka
 tersebut
 "
 6
 ,
-terbaik
+”
 ke
 3
 dan
@@ -2033,7 +2033,7 @@ baik
 beberapa
 anda
 seperti
-situs
+)
 
 maka
 .
@@ -2041,22 +2041,22 @@ maka
 kamu
 
 7
-beberapa
+a
 bermain
 kan
 setelah
-juga
-hanya
+akan
+pada
 situs
 )
 dalam
 s
 hanya
-
-ini
+bermain
+dalam
 bisa
 e
-kamu
+beberapa
 0
 lain
 membuat
@@ -2066,12 +2066,12 @@ bisa
 dan
 t
 akan
-saja
+uang
 mereka
 bisa
 3
 .
-ada
+orang
 5
 d
 -
@@ -2085,10 +2085,10 @@ i
 .
 sudah
 memiliki
-permainan
+saja
 para
 melakukan
-kan
+harus
 saya
 5
 ?
@@ -2096,9 +2096,9 @@ maka
 seperti
 0
 untuk
-an
-bahwa
-sangat
+dengan
+situs
+9
 lebih
 anda
 9
@@ -2118,15 +2118,15 @@ satu
 yang
 5
 8
-memiliki
+beberapa
 itu
 7
-mendapatkan
+game
 
 membuat
 
-tentang
-besar
+namun
+kamu
 2
 dan
 satu
@@ -2144,7 +2144,7 @@ juga
 0
 ,
 anda
-cara
+(
 6
 -
 
@@ -2153,21 +2153,21 @@ harus
 akan
 bahwa
 hanya
-.
+satu
 dalam
 an
 
 
 menjadi
 6
-(
+orang
 menjadi
 t
 orang
 yang
 anda
 cara
-dari
+karena
 8
 4
 an
@@ -2178,26 +2178,26 @@ dengan
 saya
 s
 -
-adalah
+pada
 satu
 jika
 1
 saya
 sudah
-memiliki
+seperti
 bisnis
 indonesia
 hal
 kami
 untuk
-jika
-kan
+indonesia
+d
 untuk
-sebagai
+.
 untuk
 anda
 ini
-para
+salah
 hal
 juga
 kita
@@ -2208,13 +2208,13 @@ sebagai
 hal
 seperti
 yang
-satu
+ke
 sangat
 nya
 hal
 dan
 untuk
-pada
+akan
 dan
 anda
 
@@ -2228,15 +2228,15 @@ untuk
 ,
 "
 tersebut
-6
+slot
 e
-saja
+-
 -
 dari
 i
 saya
 telah
-namun
+harus
 dengan
 apa
 .
@@ -2244,7 +2244,7 @@ dan
 dalam
 karena
 
-melakukan
+dari
 maka
 melakukan
 para
@@ -2260,7 +2260,7 @@ dapat
 
 4
 u
-a
+beberapa
 tidak
 9
 i
@@ -2268,11 +2268,11 @@ banyak
 online
 4
 salah
-banyak
+s
 mudah
 0
 :
-8
+menjadi
 
 dari
 situs
@@ -2284,9 +2284,9 @@ dan
 dapat
 8
 7
-,
+0
 uang
-hanya
+9
 oleh
 sudah
 beberapa
@@ -2304,22 +2304,22 @@ bisa
 yang
 "
 :
-an
+t
 (
 dapat
-secara
-sangat
-2
+5
+oleh
+oleh
 saya
 permainan
 menjadi
 dengan
 untuk
 lebih
-beberapa
+online
 anda
 i
-
+ada
 indonesia
 harus
 
@@ -2327,14 +2327,14 @@ orang
 mereka
 kami
 
-lebih
--
+membuat
+game
 lebih
 bisa
 pada
 an
 dalam
-semua
+besar
 beberapa
 ?
 judi
@@ -2343,17 +2343,17 @@ seperti
 ?
 nya
 kan
-ini
+,
 1
 yang
-5
+u
 saya
 slot
 judi
-8
+)
 permainan
 harga
-
+an
 dapat
 3
 ke
@@ -2371,13 +2371,13 @@ karena
 
 dengan
 saat
-t
+agar
 seperti
-membuat
+n
 saya
 dapat
 2
-uang
+bermain
 yang
 s
 
@@ -2394,11 +2394,11 @@ mendapatkan
 nya
 kami
 nya
-atau
+ke
 4
 harus
 yang
-situs
+?
 oleh
 akan
 beberapa
@@ -2421,20 +2421,20 @@ lain
 nya
 dari
 akan
-,
-memiliki
+berbagai
+secara
 menggunakan
 adalah
 an
 secara
-judi
-di
+0
+bisa
 untuk
-
-kami
+bisa
+bisnis
 itu
 bisa
-oleh
+besar
 bisnis
 atau
 itu
@@ -2443,7 +2443,7 @@ kami
 dengan
 8
 cara
-hal
+saya
 ketika
 saat
 saat
@@ -2451,14 +2451,14 @@ saat
 tidak
 "
 sudah
-adalah
+ketika
 ada
 dan
 di
 secara
 bisa
 :
-menggunakan
+u
 ,
 yang
 saat
@@ -2469,17 +2469,17 @@ dan
 anda
 rumah
 ketika
-kami
+banyak
 e
 akan
 5
 anda
-hari
-t
+permainan
+agar
 besar
-e
+
 satu
-i
+dengan
 salah
 rumah
 t
@@ -2488,13 +2488,13 @@ telah
 anda
 ini
 jika
-bermain
+salah
 melakukan
-saat
-akan
+untuk
+di
 adalah
 akan
-kami
+5
 dapat
 k
 8
@@ -2503,7 +2503,7 @@ atau
 kan
 (
 di
-menggunakan
+cara
 (
 dapat
 8
@@ -2522,7 +2522,7 @@ sudah
 
 dapat
 
-dalam
+dan
 untuk
 )
 bahwa
@@ -2540,20 +2540,20 @@ akan
 0
 bisa
 
-o
+,
 di
 slot
 itu
 kami
 ke
-?
+dan
 harus
 juga
 uang
 secara
 1
 anda
-lain
+besar
 besar
 9
 0
@@ -2563,7 +2563,7 @@ kamu
 hal
 lain
 e
-e
+situs
 karena
 di
 kami
@@ -2596,7 +2596,7 @@ saat
 perlu
 salah
 0
-online
+dapat
 1
 tersebut
 satu
@@ -2610,13 +2610,13 @@ tidak
 dan
 saat
 .
-4
+kan
 ?
 situs
 ada
 kami
 u
-hal
+beberapa
 )
 beberapa
 karena
@@ -2629,7 +2629,7 @@ namun
 dalam
 
 indonesia
-cara
+saat
 apa
 kami
 e
@@ -2639,20 +2639,20 @@ lebih
 s
 dapat
 permainan
-memiliki
+slot
 juga
 juga
 poker
-0
+a
 .
-orang
+s
 /
-orang
-dapat
+baik
+4
 cara
-anda
+menggunakan
 5
-akan
+bermain
 
 
 situs
@@ -2666,7 +2666,7 @@ saat
 atau
 sebagai
 bisa
-kami
+
 
 tersebut
 di
@@ -2675,9 +2675,9 @@ anda
 situs
 2
 s
-besar
+lain
 
-hal
+sebagai
 maka
 telah
 bisa
@@ -2685,13 +2685,13 @@ sudah
 bahwa
 saya
 untuk
-akan
+ketika
 :
 dari
 bisa
 dalam
 menggunakan
-indonesia
+satu
 yang
 4
 membuat
@@ -2703,7 +2703,7 @@ itu
 mereka
 tidak
 
-sebagai
+tidak
 akan
 membuat
 -
@@ -2715,14 +2715,14 @@ m
 situs
 kan
 :
-permainan
+"
 banyak
 ,
 s
 pada
 s
 0
-karena
+oleh
 ke
 pada
 slot
@@ -2730,7 +2730,7 @@ slot
 2
 baik
 2
-t
+membuat
 adalah
 -
 harus
@@ -2746,12 +2746,12 @@ yang
 indonesia
 di
 di
-e
+memiliki
 satu
 banyak
 bisa
 trading
-,
+situs
 t
 saat
 4
@@ -2774,7 +2774,7 @@ mereka
 hanya
 jadi
 "
-itu
+atau
 )
 untuk
 judi
@@ -2787,33 +2787,33 @@ slot
 hal
 pada
 judi
-s
+"
 untuk
 salah
 u
 
 bisa
 3
-a
+
 3
-saya
+pada
 -
 ,
 waktu
 dari
 ,
-e
+satu
 1
 untuk
 s
 kan
 di
-
+tersebut
 anda
 sangat
 s
 lebih
-membuat
+secara
 
 besar
 dari
@@ -2831,25 +2831,25 @@ nya
 jika
 i
 dan
-bahwa
+uang
 3
 anda
 besar
-salah
+dan
 1
 menjadi
 .
 dengan
 sudah
--
+dalam
 seperti
 beberapa
-"
+menjadi
 o
 dan
 i
 tidak
-kan
+kami
 karena
 saya
 
@@ -2862,7 +2862,7 @@ tidak
 cara
 poker
 kami
-banyak
+apa
 menjadi
 adalah
 sebagai
@@ -2889,13 +2889,13 @@ tidak
 1
 salah
 1
-4
-an
+menggunakan
+situs
 orang
 7
 anda
 t
-dengan
+apa
 -
 secara
 ,
@@ -2906,21 +2906,21 @@ ini
 2
 
 1
-nya
-?
+sangat
+orang
 beberapa
 juga
 hanya
-menggunakan
+a
 besar
 menjadi
 yang
 bisa
-d
+?
 lain
-ke
+lebih
 online
-sangat
+8
 saja
 adalah
 d
@@ -2928,7 +2928,7 @@ kamu
 sudah
 satu
 atau
-bahwa
+0
 tidak
 3
 memiliki
@@ -2944,20 +2944,20 @@ dengan
 jadi
 online
 
-a
+0
 
 satu
 3
 ,
 yang
-juga
-banyak
+harus
+an
 taruhan
 menggunakan
 mereka
 i
 saat
-tersebut
+ada
 indonesia
 kami
 ,
@@ -2984,7 +2984,7 @@ dapat
 (
 permainan
 poker
-kami
+beberapa
 ingin
 untuk
 3
@@ -3027,8 +3027,8 @@ saat
 orang
 5
 untuk
-(
-oleh
+untuk
+0
 tidak
 memiliki
 3
@@ -3058,8 +3058,8 @@ di
 e
 judi
 dapat
-u
-harus
+maka
+dari
 .
 menjadi
 akan
@@ -3082,7 +3082,7 @@ sudah
 
 (
 :
-dari
+dalam
 harga
 adalah
 cara
@@ -3093,9 +3093,9 @@ oleh
 ada
 atau
 "
-kita
+(
 di
-bermain
+maka
 kamu
 6
 di
@@ -3103,7 +3103,7 @@ kami
 menjadi
 0
 judi
-.
+untuk
 bisa
 itu
 -
@@ -3118,13 +3118,13 @@ karena
 0
 baik
 
-besar
+tidak
 baru
 yang
 sebagai
 bagi
 ?
-an
+-
 untuk
 tidak
 itu
@@ -3132,8 +3132,8 @@ kami
 sebagai
 :
 situs
-)
-s
+hanya
+nya
 lebih
 atau
 
@@ -3150,10 +3150,10 @@ hanya
 tidak
 ,
 memiliki
-s
+"
 )
 
-poker
+secara
 anda
 ,
 sebagai
@@ -3174,8 +3174,8 @@ menjadi
 anda
 juga
 sebagai
-memiliki
-taruhan
+itu
+para
 an
 u
 dalam
@@ -3187,7 +3187,7 @@ sendiri
 1
 ini
 an
-banyak
+kita
 pada
 memiliki
 adalah
@@ -3207,10 +3207,10 @@ a
 menggunakan
 4
 dan
-an
-melakukan
+2
+besar
 .
-nya
+0
 k
 anda
 bisa
@@ -3220,11 +3220,11 @@ dengan
 u
 hanya
 (
-baik
+oleh
 pada
 karena
 o
-mudah
+ada
 secara
 tidak
 sangat
@@ -3237,8 +3237,8 @@ game
 ada
 ,
 :
-bermain
-3
+harga
+sangat
 seperti
 nya
 .
@@ -3251,14 +3251,14 @@ i
 lain
 
 )
-membuat
-tahun
+kami
+salah
 akan
 
 memiliki
 kamu
-bagi
-hal
+judi
+cara
 (
 e
 4
@@ -3286,24 +3286,24 @@ di
 karena
 9
 satu
-kan
+semua
 atau
 dengan
 e
 banyak
-judi
+t
 orang
 tidak
 3
-kan
+hanya
 juga
 dapat
-kami
+
 yang
 dengan
 pemain
-uang
-jadi
+mudah
+akan
 namun
 hal
 .
@@ -3311,7 +3311,7 @@ hal
 telah
 hanya
 yang
-tidak
+4
 lebih
 anda
 ,
@@ -3331,12 +3331,12 @@ d
 salah
 anda
 ini
-permainan
+
 dari
 e
 
-dapat
-permainan
+
+9
 adalah
 sangat
 bisa
@@ -3353,7 +3353,7 @@ karena
 membuat
 5
 baik
-0
+e
 menjadi
 
 adalah
@@ -3365,11 +3365,11 @@ saat
 pada
 dalam
 2
--
-ke
+anda
+(
 apa
 hal
-oleh
+kami
 juga
 lebih
 beberapa
@@ -3379,7 +3379,7 @@ harus
 4
 mereka
 yang
-juga
+anda
 s
 3
 0
@@ -3388,47 +3388,47 @@ saya
 pada
 dari
 telah
-hanya
+di
 )
 di
 mendapatkan
--
+di
 .
 e
 besar
 di
 dan
 bahwa
-seperti
+dari
 di
 membuat
 anda
-namun
+semua
 saya
 di
 akan
 tidak
 
-9
+hal
 untuk
 7
 itu
 lebih
 baik
 secara
-bahwa
+seperti
 secara
 -
 5
 membuat
-t
+membuat
 pada
 sangat
 lebih
 (
 seperti
 akan
-dapat
+:
 an
 
 judi
@@ -3441,13 +3441,13 @@ ada
 hanya
 baik
 dari
-dalam
+0
 itu
 dan
 yang
 tidak
 cara
-k
+"
 untuk
 anda
 anda
@@ -3458,16 +3458,16 @@ nya
 -
 dapat
 maka
-karena
+judi
 menjadi
-ingin
+namun
 1
 untuk
 permainan
 ,
 anda
 9
-semua
+di
 )
 menjadi
 pada
@@ -3475,21 +3475,21 @@ pada
 situs
 sudah
 atau
-ini
-e
-anda
+.
+sebagai
+yang
 beberapa
 -
 itu
 k
-setiap
+m
 kami
 5
 ada
-dan
+bagi
 dan
 dengan
-permainan
+kamu
 
 situs
 atau
@@ -3500,7 +3500,7 @@ tidak
 menjadi
 ,
 dalam
-6
+cara
 anda
 kan
 ini
@@ -3520,7 +3520,7 @@ harus
 kita
 mereka
 dalam
-hal
+oleh
 di
 0
 .
@@ -3535,15 +3535,15 @@ menjadi
 adalah
 bisa
 satu
-maka
+d
 saat
 dan
 lebih
 an
-saat
-banyak
+membuat
+(
 atau
-sebagai
+lain
 nya
 dapat
 lain
@@ -3557,15 +3557,15 @@ sudah
 4
 ,
 ini
-kita
+lain
 di
 pada
 cara
 dan
-a
+permainan
 hal
 dengan
-adalah
+banyak
 pada
 0
 sangat
@@ -3585,7 +3585,7 @@ pada
 1
 (
 akan
-(
+banyak
 
 1
 juga
@@ -3600,24 +3600,24 @@ karena
 sudah
 ,
 juga
-p
-n
+ingin
+baru
 telah
 pada
 judi
 2
 banyak
 
-dapat
+saat
 juga
 beberapa
 di
 judi
 5
-membuat
+permainan
 .
 /
-yang
+banyak
 1
 jika
 memiliki
@@ -3628,8 +3628,8 @@ bahwa
 banyak
 baik
 maka
-saja
-s
+dapat
+0
 ?
 5
 semua
@@ -3638,10 +3638,10 @@ tidak
 )
 yang
 dengan
-pada
-dalam
+seperti
+kamu
 adalah
-sebagai
+5
 memiliki
 hal
 untuk
@@ -3652,31 +3652,31 @@ ke
 7
 ,
 (
-an
+kan
 pada
 3
 
 t
 nya
 slot
-harga
+i
 anda
 ?
 
-atau
+pada
 banyak
-untuk
+sudah
 saat
-bahwa
+satu
 ke
 membuat
-nya
+t
 harus
 kami
 karena
 atau
 sudah
-d
+nya
 
 di
 online
@@ -3687,8 +3687,8 @@ salah
 untuk
 nya
 akan
-online
-lain
+secara
+ada
 memiliki
 maka
 sebagai
@@ -3702,7 +3702,7 @@ sudah
 mereka
 an
 
-semua
+ke
 orang
 "
 untuk
@@ -3714,7 +3714,7 @@ anda
 baru
 "
 sebagai
-saya
+hal
 9
 di
 tersebut
@@ -3727,7 +3727,7 @@ dengan
 dapat
 itu
 jika
-dalam
+s
 1
 i
 dengan
@@ -3735,8 +3735,8 @@ i
 semua
 -
 lain
-bisnis
-dengan
+u
+semua
 situs
 dengan
 2
@@ -3753,7 +3753,7 @@ anda
 dengan
 dapat
 s
-bahwa
+salah
 
 u
 lebih

predict_results.json

@@ -1,12 +1,12 @@
 {
     "predict_gen_len": 1.0,
-    "predict_loss": 0.5208343267440796,
-    "predict_rouge1": 0.4212,
+    "predict_loss": 0.5092278122901917,
+    "predict_rouge1": 0.4344,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.4226,
-    "predict_rougeLsum": 0.4201,
-    "predict_runtime": 3173.3184,
+    "predict_rougeL": 0.4345,
+    "predict_rougeLsum": 0.4334,
+    "predict_runtime": 2983.3553,
     "predict_samples": 3762,
-    "predict_samples_per_second": 1.186,
-    "predict_steps_per_second": 0.037
+    "predict_samples_per_second": 1.261,
+    "predict_steps_per_second": 0.04
 }

train_results.json

@@ -1,9 +1,9 @@
 {
     "epoch": 5.0,
-    "total_flos": 4.90238608932864e+16,
-    "train_loss": 0.6193654355446854,
-    "train_runtime": 3915.3347,
+    "total_flos": 4.921767498350592e+16,
+    "train_loss": 0.5867589565670543,
+    "train_runtime": 3933.0288,
     "train_samples": 14262,
-    "train_samples_per_second": 18.213,
-    "train_steps_per_second": 1.139
+    "train_samples_per_second": 18.131,
+    "train_steps_per_second": 1.134
 }

trainer_state.json

@@ -10,112 +10,112 @@
   "log_history": [
     {
       "epoch": 1.0,
-      "grad_norm": 0.7220906615257263,
+      "grad_norm": 0.9366385340690613,
       "learning_rate": 0.0008,
-      "loss": 0.8166,
+      "loss": 0.7738,
       "step": 892
     },
     {
       "epoch": 1.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.541189432144165,
-      "eval_rouge1": 0.6958,
+      "eval_loss": 0.5310206413269043,
+      "eval_rouge1": 0.704,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.6933,
-      "eval_rougeLsum": 0.6944,
-      "eval_runtime": 38.2682,
-      "eval_samples_per_second": 19.599,
-      "eval_steps_per_second": 0.627,
+      "eval_rougeL": 0.6981,
+      "eval_rougeLsum": 0.7001,
+      "eval_runtime": 38.4784,
+      "eval_samples_per_second": 19.491,
+      "eval_steps_per_second": 0.624,
       "step": 892
     },
     {
       "epoch": 2.0,
-      "grad_norm": 0.7783016562461853,
+      "grad_norm": 1.2285586595535278,
       "learning_rate": 0.0006,
-      "loss": 0.6181,
+      "loss": 0.5926,
       "step": 1784
     },
     {
       "epoch": 2.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5291976928710938,
-      "eval_rouge1": 0.6767,
+      "eval_loss": 0.5095808506011963,
+      "eval_rouge1": 0.6968,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.6749,
-      "eval_rougeLsum": 0.6733,
-      "eval_runtime": 38.0243,
-      "eval_samples_per_second": 19.724,
+      "eval_rougeL": 0.6921,
+      "eval_rougeLsum": 0.6922,
+      "eval_runtime": 38.0389,
+      "eval_samples_per_second": 19.717,
       "eval_steps_per_second": 0.631,
       "step": 1784
     },
     {
       "epoch": 3.0,
-      "grad_norm": 0.717491865158081,
+      "grad_norm": 0.663176953792572,
       "learning_rate": 0.0004,
-      "loss": 0.5768,
+      "loss": 0.5492,
       "step": 2676
     },
     {
       "epoch": 3.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.4997425377368927,
-      "eval_rouge1": 0.6835,
+      "eval_loss": 0.4948200285434723,
+      "eval_rouge1": 0.6619,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.6819,
-      "eval_rougeLsum": 0.6808,
-      "eval_runtime": 37.8683,
-      "eval_samples_per_second": 19.805,
-      "eval_steps_per_second": 0.634,
+      "eval_rougeL": 0.659,
+      "eval_rougeLsum": 0.6573,
+      "eval_runtime": 37.9852,
+      "eval_samples_per_second": 19.745,
+      "eval_steps_per_second": 0.632,
       "step": 2676
     },
     {
       "epoch": 4.0,
-      "grad_norm": 0.5613729953765869,
+      "grad_norm": 0.5773711800575256,
       "learning_rate": 0.0002,
-      "loss": 0.5516,
+      "loss": 0.5199,
       "step": 3568
     },
     {
       "epoch": 4.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5060973763465881,
-      "eval_rouge1": 0.6866,
+      "eval_loss": 0.49569639563560486,
+      "eval_rouge1": 0.7098,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.6872,
-      "eval_rougeLsum": 0.6829,
-      "eval_runtime": 37.6793,
-      "eval_samples_per_second": 19.905,
-      "eval_steps_per_second": 0.637,
+      "eval_rougeL": 0.7065,
+      "eval_rougeLsum": 0.7048,
+      "eval_runtime": 38.4364,
+      "eval_samples_per_second": 19.513,
+      "eval_steps_per_second": 0.624,
       "step": 3568
     },
     {
       "epoch": 5.0,
-      "grad_norm": 0.717795193195343,
+      "grad_norm": 0.6949478983879089,
       "learning_rate": 0.0,
-      "loss": 0.5337,
+      "loss": 0.4984,
       "step": 4460
     },
     {
       "epoch": 5.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.49971678853034973,
-      "eval_rouge1": 0.7062,
+      "eval_loss": 0.48721930384635925,
+      "eval_rouge1": 0.6882,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7054,
-      "eval_rougeLsum": 0.7026,
-      "eval_runtime": 37.7942,
-      "eval_samples_per_second": 19.844,
-      "eval_steps_per_second": 0.635,
+      "eval_rougeL": 0.6851,
+      "eval_rougeLsum": 0.6829,
+      "eval_runtime": 37.7454,
+      "eval_samples_per_second": 19.87,
+      "eval_steps_per_second": 0.636,
       "step": 4460
     },
     {
       "epoch": 5.0,
       "step": 4460,
-      "total_flos": 4.90238608932864e+16,
-      "train_loss": 0.6193654355446854,
-      "train_runtime": 3915.3347,
-      "train_samples_per_second": 18.213,
-      "train_steps_per_second": 1.139
+      "total_flos": 4.921767498350592e+16,
+      "train_loss": 0.5867589565670543,
+      "train_runtime": 3933.0288,
+      "train_samples_per_second": 18.131,
+      "train_steps_per_second": 1.134
     }
   ],
   "logging_steps": 500,
@@ -123,7 +123,7 @@
   "num_input_tokens_seen": 0,
   "num_train_epochs": 5,
   "save_steps": 500,
-  "total_flos": 4.90238608932864e+16,
+  "total_flos": 4.921767498350592e+16,
   "train_batch_size": 16,
   "trial_name": null,
   "trial_params": null